数据技术及产品部-RL 数据处理工程师-Work

岗位职责

1. 线上数据回流与清洗：对接模型线上 rollout 与用户使用产生的原始数据（轨迹、日志、反馈、执行结果等），设计清洗 pipeline 去重、去噪、过滤无效样本。
2. 高价值样本挖掘：从海量数据中挖掘对训练有价值的样本：高难度任务、罕见场景、模型易错 case、真实需求分布；建立规则+模型+LLM 多信号融合的挖掘策略，提高高价值样本召回率。
3. Bad Case 发现与弱点分析：系统性发现 bad case 并做根因分类（模型能力/数据分布/任务定义/环境依赖），把弱点线索输出给领域专家与 rubric 团队作为下一轮任务与数据构造的依据。
4. 数据合成与增强：设计数据合成策略（变体生成、难度扩展、场景泛化），补充稀缺类型；用 LLM-as-judge 与质量评分模型对合成数据做质量验证，确保可直接用于训练。
5. LLM 驱动的精筛：用 LLM 与质量评分模型对海量数据做精筛，识别"表面合理但实际错误"的样本；设计阈值与采样策略，平衡规模与质量。
6. 数据 pipeline 与治理：搭建端到端 pipeline（采集→清洗→挖掘→合成→筛选→输出），保证可追溯（血缘）、可复现（版本）、可观测（关键指标监控）；对接爬取团队产出的原始数据并做加工。
7. 与专家、Rubric、标注团队协同：为下游标注准备可标注的数据包（去重、预分类、难度分级、边界 case 标记）；与 rubric 团队对齐"什么样的数据能进 RL"，与领域专家对齐"什么样的弱点最该补数据"。

任职要求

1. 计算机、人工智能、数据科学、统计学或相关专业，2 年以上数据挖掘/数据工程/机器学习方向经验。
2. 精通 Python，具备大规模数据处理能力（Spark/Ray/Dask/Flink 任一）；熟悉 SQL、Shell，能独立搭数据处理 pipeline 与 ETL。
3. LLM 工具链：熟练使用 LLM 做数据筛选、质量评估、合成生成；理解 LLM 训练（预训练/SFT/RFT/RL）各阶段数据需求差异。
4. 数据质量意识：对分布、异常、偏见风险有敏锐直觉，能一眼看出海量数据里"这个样本有价值"。
5. 数据挖掘经验：熟悉规则挖掘、聚类、异常检测、分类等常用方法；愿意读 rollout 日志、执行轨迹、用户反馈等原始数据。
6. 问题定位能力：能独立完成 bad case 根因分析，输出结构化改进建议。
7. 闭环意识：知道自己挖出来的数据最终喂给谁，主动跟 rubric 团队和领域专家对齐。

岗位标签

NEW