数据技术及产品部-大模型评测标注领域专家-code/agentic方向

岗位职责

1. 标注规范与数据设计：负责主导 Code 方向标注规范的制定与持续迭代，覆盖代码生成、代码补全、debug、代码解释、代码审查等多类任务；设计 Agentic 场景下的标注框架，包括 multi-step reasoning、tool use、planning、self-correction 等复杂任务链的拆解与评估标准；基于模型表现与研究进展，持续优化标注指南，确保数据质量与训练目标对齐;
2. 数据质量管控：对标注员产出进行专家级审核，重点识别代码逻辑错误、安全漏洞、风格一致性问题；建立 Code / Agentic 数据质量评估体系，定义量化指标并追踪质量趋势；设计并执行标注一致性校验流程（IAA），提升跨标注员的数据稳定性;
3. 标注团队赋能：为标注员提供技术培训，将复杂的代码和 Agent 概念转化为可操作的标注实践；担任技术难题的终极裁判，解决边界案例和歧义问题；参与标注工具需求设计，提升代码标注效率;
4. 探索更科学的评测指标、更高效的评测方法。

任职要求

1. 本科及以上学历，计算机科学、软件工程或相关专业3 年以上软件开发经验，能熟练阅读和评审多种主流编程语言代码
2. 深刻理解模型能力发展脉络，能预判下一阶段的标注和评测重点；熟悉从基础能力到复杂能力的演进路径。
3. 理解训练数据的分布和特点，能设计针对性的评测来检验数据效果；具备反作弊意识，能识别模型是"真懂"还是"背题"。
4. 具备研究能力，能设计新颖的标注任务和指标；关注标注领域的前沿论文和行业实践。
5. 具备优秀的题目创作能力，能设计有挑战性、有区分度、贴近真实场景的评测题目。

岗位标签

NEW