岗位职责
团队介绍：数据工程与平台团队旨在实现人类知识与经验向模型能力的加速迁移。我们从真实场景出发，通过模型短板识别、高质量数据定义、规模化数据生产，提升模型能力。与此同时，团队还致力于依托训练反馈，反哺数据设计，推动系统迭代，构建业内一流的数据工程能力与平台。
- 围绕大模型在通用能力、专业领域能力、推理能力、多模态能力、工具使用能力等维度的表现，系统性地挖掘模型短板与能力盲区；通过构建自动化评测集、错误案例归因分析、负面案例聚类挖掘、对抗样本构造等手段，精准定位模型在哪些场景、哪些任务类型、哪些知识领域存在能力缺口，并将这些发现转化为可执行的高价值数据需求定义——明确需要什么样的数据、数据的质与量标准、标注规范和验收标准，形成"发现短板→定义数据→产出提升"的闭环；
- 负责大模型训练数据（包括预训练语料、SFT指令数据、偏好对齐数据RLHF/DPO、安全评测数据等）的全生命周期管理，涵盖数据采集、清洗、去重、质量过滤、脱敏、存储、版本管理与分发；构建稳定、高效、可扩展的数据处理流水线（Data Pipeline），支撑TB/PB级多模态数据的处理与流转；设计数据质量自动化校验机制与数据血缘追踪体系，确保训练数据的可追溯性、可复现性与合规性；持续优化数据存储架构与处理效率，降低数据流转成本；
- 设计从数据发现、采集、清洗、标注到入库、训练、效果验证的全流程数据生产策略，定义各节点的数据交互规范、质量门禁、异常处理机制与验收标准；针对不同类型数据（网页文本、代码、数学推理、多轮对话、专业领域知识、红队对抗样本等）设计差异化的生产SOP；与标注团队、算法团队协作，制定标注指南与质量控制方案（如多人标注一致性校验、主动学习标注策略、难例挖掘策略）；对完整数据生产链路的效率、质量与成本负责，推动链路持续优化；
- 综合运用数据挖掘、统计分析、机器学习、深度学习以及大模型自身能力（如LLM-as-Judge、合成数据生成、数据增强等），从海量数据中挖掘高价值信息与知识；具体方向包括但不限于：高质量语料挖掘与筛选（基于perplexity、教育价值评分、信息密度等维度）、推理链数据构造（CoT/ToT/ReAct等）、代码与数学数据挖掘、多轮对话数据挖掘、领域专业知识抽取、难例与对抗样本挖掘、偏好数据自动构建等；通过创新的Data挖掘方法，持续发现并生产能有效提升模型能力的稀缺数据资源；
- 对业务数据、训练数据、模型评测数据进行深入的多维度分析，产出数据质量报告、模型能力分析报告、数据ROI分析报告等，通过可视化手段清晰呈现数据分布、质量趋势、能力提升效果等关键指标；建立数据驱动的决策机制，为数据生产优先级排序、资源分配、模型迭代方向提供量化依据；跟踪业界前沿数据技术与Benchmark，持续跟踪大模型数据领域的前沿进展（包括但不限于数据质量过滤新方法、合成数据技术（Synthetic Data）、数据混合比例策略（Data Mixture）、课程学习（Curriculum Learning）、指令数据自动生成、多模态数据处理、Agent训练数据构建等方向），形成技术洞察并将前沿技术快速落地到实际数据生产链路中，推动数据工程能力与数据挖掘方法论的持续升级；
- 在AI数据与安全方向，负责训练数据与模型输出的安全治理工作；包括但不限于：个人隐私信息（PII）识别与脱敏、有毒有害内容数据挖掘与拦截规则构建、版权风险数据识别、价值观对齐数据生产、红队测试数据集构建、越狱攻击样本挖掘与防御数据准备等；构建数据安全风险的主动发现、度量与治理机制，保障模型训练数据的合规性与模型输出的安全可控。
任职要求
- 2027届获得本科及以上学历，计算机、统计学、数学、数据科学等相关专业；
- 精通Python、SQL等编程语言，具备良好的算法和数据结构基础；熟练掌握数据挖掘、机器学习、深度学习等相关技术及工具；熟悉常用数据分析方法，如回归分析、分类、聚类、关联规则挖掘等；熟练掌握常用统计分析方法与数据分析工具，能够从复杂数据中提炼规律、发现问题、形成洞察；具备数据可视化能力，熟练使用Matplotlib、Seaborn、Pandas、NumPy等工具；
- 对大模型的训练流程（预训练、SFT、RLHF/DPO）有基本了解，关注大模型领域发展，有大模型相关项目、竞赛或研究经历者优先；了解Prompt Engineering、RAG、Agent等相关技术者优先；
- 熟悉大数据处理技术和平台（如Hadoop、Spark、Hive）有TB级以上数据处理经验者优先；了解向量数据库（Milvus/FAISS等）在大模型场景中的应用者优先；
- 具备良好的逻辑分析能力、问题解决能力和团队协作能力；
- 有良好的数据敏感性，能够将业务需求转化为数据方案。