晓天衡宇-大模型评测工程师-LLM

岗位职责

1. 负责大模型的高质量的数据构造及模型评测工作，主要聚焦在通用模型能力（创作、指令遵循、角色体验）等各垂域（医疗、法律、金融等）数据任务，与算法团队密切合作，理解算法需求，提供满足算法研发需求的数据；
2. 设计和实现各领域标注方向AI训练流程，并不断优化迭代，高效完成标注和内容生产项目；
3. 统筹各领域核心知识点分类框架、回答思维模式、推理问答、权威教材教研资料、前沿科研论文专著等关键要素。依据多元数据集设计需求与应用场景，为数据集标准环节制定详实、完备且极具可操作性的标准。定期对数据集开展阶段性质量检测，持续迭代体系化标注标准，助力打造行业标杆级数据集；
4. 构建并维护一套完善的各领域AI数据内容质量管理体系，积极推动组织流程及交付流程优化，全面把控内容质量并对结果负责，并不断进行优化迭代；
5. 开展LLM及各垂域大模型及应用的评测建设，能够从各领域专业层面设计专业评测方案、开展专业的评测服务； 6.承担本方向数据处理、数据清洗、数据蒸馏、数据合成等多样数据工程工作。

任职要求

1. 本科及以上学历，语言学、认知科学、心理学、金融、法律、医疗等专业背景优先，有LLM算法技术、数据及评测技术背景优先，开展过相关行业据标注管理、模型评测等工作经验者优先；
2. 能准确理解业务诉求，对质量/数据变化敏锐，能通过独到的视角或科学的方法发现问题，推动业务指标达成和策略落地；
3. 熟悉数据标注工具，掌握Python编程语言，能够进行数据处理和自动化脚本编写，了解机器学习与深度学习，熟悉LLM领域常见的算法模型；
4. 制定业务规划、目标管理以及团队人员管理工作，与上下游团队充分沟通协作，关注团队效果数据和目标达成；
5. 积极主动，对AI有激情，具备较强的团队协作能力、组织协调能力、复杂问题解决能力。

岗位标签

NEW