数据技术及产品部-RL 数据处理工程师-Work领域

岗位职责

1. 数据链路搭建与治理：搭建端到端数据处理链路（采集 → 清洗 → 加工 → 挖掘 → 增广 → 质检 → 筛选 → 输出），对接线上 rollout 原始数据（轨迹、日志、执行结果、用户反馈），保证数据可追溯（血缘）、可复现（版本）、可观测（指标监控）。
2. 数据清洗、加工与质量校验：对海量原始/脏数据做去重、去噪、过滤、脱敏与结构化，并做二次加工（改写、补全、难度分级、标签规范化）；独立编写并维护质检脚本（规则质检 + 模型质检 + 双标一致性 + 金标抽检），系统性检测脏数据、偏见与分布异常，使出库数据质量可量化、可迭代。
3. 日志与轨迹解析：解析模型运行日志、工具调用日志与系统日志，从噪声中抽取可用信号；对多步执行轨迹做逐步标注（正确性 / 必要性 / 思考质量 / 整体 reward），识别冗余操作、隐性副作用与轨迹异常。
4. Bad Case 与高价值样本挖掘：系统性发现 bad case（执行失败、低质量输出、轨迹异常、用户投诉）并做根因分类（模型能力 / 数据分布 / 任务定义 / 环境依赖），输出结构化报告驱动数据与评测改进；融合规则 + 模型 + LLM 多信号挖掘高难度任务、罕见场景、易错 case 与真实需求分布，用 LLM-as-judge 精筛，识别“表面合理但实际错误”的样本。
5. 数据增广与合成：基于 LLM 做变体生成、难度扩展、场景泛化，补充训练数据中的稀缺类型，并验证增广/合成数据质量，确保可直接用于训练。
6. 跨团队协同：与算法团队对齐“下一轮需要什么数据”，与标注团队对齐“什么数据值得标”，使数据挖掘成为模型能力提升的持续供给。

任职要求

1. 计算机、人工智能、数据科学、统计学或相关专业，2 年以上数据挖掘 / 数据工程 / 机器学习方向经验。
2. 扎实工程能力：精通 Python，具备大规模数据处理经验（Spark / Ray / Dask / Flink 任一），熟悉 SQL / Shell，能独立搭建稳定、可追溯的 ETL pipeline，链路写得好、跑得稳、可监控。
3. 完整的数据处理能力：海量脏数据的清洗、脱敏与结构化；用 LLM 做数据增广并验证质量；能独立设计和实现质检脚本与自动化质检流程（规则校验、异常检测、双标一致性计算、金标抽检），对数据分布、异常与偏见风险有敏锐直觉。
4. 日志与轨迹分析能力：熟悉 Agent 执行日志、多步轨迹、工具调用模式（bash / python / API），能判断冗余操作与隐性副作用；能编写轨迹解析与校验脚本，独立完成 bad case 归因（模型 / 数据 / 任务定义 / 环境）并输出结构化改进建议。
5. 数据挖掘与 LLM 工具链经验：有从线上日志、用户行为、模型轨迹中挖掘高价值样本的实战经验，熟悉规则挖掘、聚类、异常检测、分类方法，熟练用 LLM 做数据筛选与质量评估；有闭环意识，主动与算法、标注团队对齐。
6. 优先项：有模型训练经验（SFT / RFT / RL、reward 设计、训练效果反查），或有 AI 办公 / Work Agent 场景数据落地经验；有 LLM-as-judge、rejection sampling、self-consistency 等自动化验证实践，或大规模数据基础设施架构（OSS / S3 / HDFS、MLOps）经验。

岗位标签

NEW