晓天衡宇-大模型标注评测工程师-科学

岗位职责

1. 负责科学方向（数学、物理、化学、生物、计算机、工程等）训练数据与评测数据的标注质检工作：制定质检规范与验收口径（含双标一致性、抽检比例、错误分级与仲裁机制），组织自检、互检、抽检、验收各环节执行，对交付数据的质量结论负责；
2. 构建并维护科学各领域的 AI 数据内容质量管理体系：监控首通率、返修率、一致率等质量指标，定位质量问题根因（标准歧义、标注者能力、任务难度等），推动返修、校准与标准修订，持续迭代质检体系；
3. 统筹各领域核心知识点分类框架、回答思维模式、推理问答、权威教材教研资料、前沿科研论文专著等关键要素，据此制定详实、完备、可操作的标注与质检标准，定期对数据集开展阶段性质量审计；
4. 设计并实现各领域标注与质检流程，协同平台与算法团队优化标注工具和质检链路效率，高效完成标注和内容生产项目；
5. 承担本方向数据处理、数据清洗、数据蒸馏、数据合成等数据工程工作，将质检要求嵌入数据管线各环节；
6. 配合开展 LLM 科学方向评测建设：支持评测集质量审核与专业评测方案落地，从数据质量视角为评测结论提供输入。

任职要求

1. 本科及以上学历，数学、物理、化学、生物、计算机、工程等学科专业背景优先；有标注质检、标注项目管理或数据质量管理经验者优先，有 LLM 算法、数据及评测技术背景者为加分项；
2. 能准确理解业务诉求，对质量/数据变化敏锐，能通过抽样统计、错误归因等科学方法发现问题，推动业务指标达成和策略落地；
3. 熟悉常见标注质检方法与指标（双标、抽检、一致率/Kappa 等），熟悉数据标注工具，掌握 Python，能够进行数据处理和自动化质检脚本编写；了解机器学习与深度学习，熟悉 LLM 领域常见算法模型；
4. 能制定业务规划、目标管理以及团队人员管理工作，与上下游团队充分沟通协作，关注团队效果数据和目标达成；
5. 积极主动，对 AI 有激情，具备较强的团队协作能力、组织协调能力、复杂问题解决能力。

岗位标签

NEW