资深大模型数据开发工程师-AI搜方向

岗位职责

岗位详情

工作职责: 1、围绕 B 站 AI 搜业务，从 0 到 1 搭建搜索场景专属大模型数据体系，包括垂类知识库、RAG 检索材料库、用户 Query 数据池等，实现数据分钟 / 小时级低延迟更新，支撑搜素精准度、响应速度提升。 2、负责 B 站站内 + 站外高质量数据的采集、整合与治理，覆盖图文 / 音视频 / 弹幕等 B 站特色多模态数据、全网泛知识 / 泛娱乐类数据，处理百亿级海量数据，为 AI 搜大模型训练、推理提供优质语料。 3、设计适配 B 站内容生态的数据采集 - 清洗 - 打标 - 入库 - 迭代标准化流程，开发基于 Ray/Spark 的分布式数据处理 Pipeline，适配音视频 / 弹幕等特色数据处理需求，实现 CPU/GPU 动态编排，支撑日均 TB 级 AI 训练数据自动化处理。 4、优化算力与存储体系，结合 B 站多模态数据特点设计分级存储方案，提升 GPU 利用率、降低存储成本；搭建元数据管理与数据血缘追踪体系，缩短数据问题追溯时间，保障 AI 搜数据链路稳定性。 5、基于 B 站 AI 搜用户行为，构建Query 驱动的数据飞轮，实现 RAG 材料、搜索反馈数据的自动化沉淀与迭代，推动 “数据 - 模型 - 搜索体验” 的闭环优化。 6、跨部门协同 B 站算法、Infra、内容生态等团队，对齐 AI 搜数据需求，从数据层面推动搜索场景大模型应用落地；带领 3-10 人数据工程团队，统筹数据基建、Pipeline 开发与维护等工作。 7、探索 B 站特色多模态数据融合方案（文本 - 音视频 - 弹幕），构建高质量对齐数据集，助力 AI 搜多模态大模型研发与场景化应用。 工作要求: 【硬性要求】 1、本科及以上学历，计算机、大数据、人工智能等相关专业，5 年以上 AI 数据开发 / 数据工程相关工作经验，有大厂大模型 / 搜索 / 内容平台数据领域从业经历优先。 2、精通 Python 开发，熟练掌握Ray/Spark/Hadoop等分布式数据处理框架，了解 GPU 异构集群管理、MinIO/Alluxio 等存储技术，有爬虫系统开发、多模态数据处理经验者优先；熟悉内容平台数据特点（如音视频 / 弹幕 / UGC）者加分。 3、有AI 数据体系从 0 到 1 搭建经验，主导过大模型知识库、RAG 材料库、多模态数据集等项目落地，能独立完成搜索 / 内容场景数据处理架构设计与工程化实现。 4、具备海量数据处理能力，有处理 TB/PB 级文本、千万小时级音视频、百亿级网页 / UGC 数据的实战经验，能实现数据分钟 / 小时级低延迟采集 / 更新。 5、有可量化的项目成果，如 GPU 利用率提升至 80%+、存储成本降低 30%+、数据问题追溯从小时级缩短至分钟级、推动大模型 / 搜索业务体验显著提升等。 【软性要求】 1、具备极强的从 0 到 1 开荒能力，能结合内容 / 搜索场景特点解决海量多模态数据处理、算力调度等实际工程问题，推动数据项目从无到有落地并规模化运营。 2、跨部门协调与沟通能力突出，能高效对齐算法、Infra、内容运营等多方需求，推动数据能力与 B 站 AI 搜业务的协同发展。 3、动手能力（Hands on）强，深度参与业务与架构设计，能快速定位并解决数据采集、处理、治理全流程问题，保障 AI 搜数据链路高效稳定。 4、能统筹团队目标、分配工作、推动项目落地，具备良好的团队激励与培养意识。 5、对大模型 + 搜索场景有一定理解，熟悉内容平台用户行为与数据特点，能结合 B 站 AI 搜业务需求设计定制化数据方案，推动数据驱动搜索算法与体

任职要求

（暂无）