大模型智能标注与评测算法工程师（J105767）

岗位职责

• 负责大模型智能标注与智能评测平台的整体设计、研发和业务落地
• 建设自动标注、弱监督标注、模型协同标注、主动学习和人工复核相结合的数据生产体系
• 设计任务分类、内容分级、评测 Rubric 和质量标准，支持不同业务场景快速建立理想态
• 研发 Judge Model、Reward Model 和评测 Agent，支持 Pointwise、Pairwise、GSB及细粒度维度评测
• 建设评测校准机制，通过金标集、专家评审和一致性分析持续提升人机一致率及评测可信度
• 建设线上反馈驱动的自动迭代闭环，实现 Bad Case 发现、归因、数据生成、训练和回归评测
• 识别位置偏差、长度偏好、自洽偏差和模型同源偏差，提升评测系统的稳定性与可解释性
• 支撑模型选型、流量分配和收益衡量，为业务模型升级与上线决策提供依据

任职要求

• 计算机、人工智能、机器学习、统计学等相关专业本科及以上学历
• 熟练掌握 Python、PyTorch及主流大模型应用或训练框架
• 熟悉大模型评测方法，具备 Judge Model、Reward Model、Rubric 或评测集建设经验
• 熟悉数据工程和标注质量治理，能够设计可扩展、可追溯的数据生产链路
• 理解模型偏差、一致性、置信度校准和统计显著性等基本方法
• 具备良好的业务抽象能力，能够把产品目标转化为评测标准和技术指标
• 有医疗健康、智能标注、Agent、RLHF或大规模模型评测平台经验者优先