蚂蚁集团-大模型评测技术专家/高级专家-北京/杭州

岗位职责

面向基座大模型与 AI 应用，建设可信、可复现、能反映真实任务表现的评测体系，为模型训练、选型和上线提供决策依据。重点是定义该测什么、判断分数是否可信、找到能力短板，并推动模型和业务团队改进，同时兼顾效果、效率与成本。

岗位职责

1. 建设自有评测方法与 Benchmark。 面向百灵、医疗、金融等重点领域，识别公开评测未覆盖的能力和场景，主导任务、评测数据、评分标准及判分方法的设计与实现；通过新题和对抗测试，验证评测能否识别模型的能力短板与针对性优化；
2. 建设 AntBench 模型评测指数（Index），支持选型与上线决策。 组合公开与自建 Benchmark，制定统一的计分与权重规则，将多项评测结果汇总为模型综合得分，并保留分项能力表现，结合效率与成本比较模型；通过跨基准表现分析、轨迹分析和对照复测，发现并解释模型的异常表现；
3. 推动评测成果被行业采用。 将有差异化价值的评测方法、Benchmark 和工具沉淀为可复现、可复用的成果，发布研究报告或开源项目；推动外部机构在研究或模型评测中实际采用，并根据使用反馈持续改进，形成细分领域的评测影响力。

任职要求

1. 对大模型能力有独立判断，能发现现有 Benchmark 尚未衡量的重要能力，识别评测何时失效，并提出有价值的新任务与研究方向；
2. 有从问题定义到落地验证的完整研究或工程成果。主导过 Benchmark、评测方法或框架建设，能说明解决了什么问题、为何这样设计，以及成果如何被实际使用；
3. 对测量质量有严格要求，具备扎实的统计与实验设计能力，能通过对照实验、重复采样和置信区间等方法，区分真实能力变化与评测噪声，并说明结论的适用范围；
4. 亲自开发或改进过评分方法，例如为代码修复任务编写测试程序，或为问答任务设计评分细则与模型裁判（LLM-as-a-Judge）；能提供通过人工复核发现并修正误判的具体案例；
5. 具备扎实的 Python 编程与调试能力，能亲自搭建实验、修改评测框架，并深入原始模型输出或 Agent 执行轨迹定位失败原因；在推理、代码、Agent、多模态或专业领域评测中，至少有一个方向的深入实践。

加分项

1. 主导或共建过被同行引用、复现或采用的 Benchmark、开源评测框架，或有能清楚体现个人贡献的代表性论文与技术报告；
2. 在 Agent 评测、代码评测或评测数据防污染方面提出过新的任务设计或评测方法，能说明相比已有方案，多测出了哪些能力或问题；
3. 有大模型后训练、强化学习环境、Judge／奖励模型训练经验，能从训练机制解释评测现象，并将发现转化为数据、奖励或训练策略的改进；
4. 兼具金融、医疗等领域知识，曾与领域专家或外部模型团队合作，将真实工作中的复杂判断转化为可验证的评测任务或评分标准；
5. 有技术负责人身份带领团队或跨团队项目的经历，能确定评测研究方向与技术路线，拆解课题、确定优先级，组织技术评审并指导成员解决关键问题，对团队的技术取舍与交付结果负责，能提供评测成果被模型或业务团队采用的具体案例。

岗位标签

NEW

特色标签

Benchmark体系、Docker、Kubernetes、LLM-as-a-Judge、Python、PyTorch、Shell、TensorFlow、不限、中大型项目开发经验、云计算、保险、信贷、内容安全、分布式训练、医疗、可信区间、团队管理经验、图文混合评测、基准数据集、基准测试、基座大模型、多模态算法、多模态评测、大型语言模型、大模型算法、大模型经验、实验方案设计、对照实验设计、强化学习、性能与成本、打分机制、支付、效率成本权衡、智能体、智能评分器、机器学习、机器学习经验、模型加速/性能优化、模型对比、模型挑选、模型评委、模型选择、测评体系、测试工具、深度学习、理财、知识图谱、算力成本、算法工程化经验、系统架构设计经验、统计实验设计、统计置信区间、置信度区间、自然语言处理算法、英语读写能力良好、计算机相关专业、评估体系、评分方法、评分细则、评测基准、跨模态评测、金融、银行、预训练大模型