蚂蚁集团-大模型评测专家-杭州/北京

岗位职责

1. 全场景评测体系建设 负责大模型及 AI 产品的 Benchmark 建设、评测方案设计与持续迭代；覆盖对话、图像理解、语音、多模态生成、Agent 等场景，设计科学合理的评测维度与指标体系；结合竞品分析，为产品和算法优化提供有判断的结论与建议。
2. **重点方向专项深耕和探索

• 多模态生成：生图/生视频/实时生成/世界模型方向的专项 Benchmark 设计，引入 VLM 视觉评分（参考 VBench、EvalCrafter），结合视觉审美与生成技术理解，系统对比 Sora、Kling 等竞品
• Agent 评估：为闪应用/闪游戏/异步任务构建覆盖行为轨迹全过程的多层次评估体系，引入过程奖励模型（PRM）、Checklist Reward 等方法，搭建 Playwright + 沙箱自动化评估 harness
• 评估框架：推动动态多轮评估、Agentic 评估、流式化链路等前沿方法落地，设计跨场景统一评估架构，建立 meta-evaluation 机制，推动评测-训练闭环

1. 工程化与效果诊断 推动评测链路自动化，支持多模型/多版本高频回归；基于 Bad Case 分析定位模型核心短板，将评测结论转化为可落地的优化方向，跟踪业界前沿评测方法持续升级评测体系。

任职要求

1. 计算机、人工智能、数学、统计等相关专业，本科及以上，硕士优先；2 年以上大模型评测、NLP 算法或 AI 工程相关经验。
2. 在多模态生成评测、Agent 评估体系、LLM 评测体系三个方向中至少深入掌握一个，具备从 0 到 1 设计评测方案的能力（定义维度、建数据集、选方法）。
3. 扎实的工程能力：熟练 Python，能独立完成评测框架开发与数据分析；了解 PyTorch 等深度学习框架；理解大模型全链路（预训练/SFT/RLHF/DPO/推理）。
4. 优秀的数据敏感度，能从复杂数据中定位关键问题，输出有优先级的可落地结论；具备良好的跨团队沟通和项目推动能力。

加分项

• 熟悉主流 Benchmark：VBench、SWE-bench、WebArena、MMMU、HELM、lm-evaluation-harness 等
• 有 Playwright + VLM 自动化评测实践，或 Agent 评估 harness 搭建经验
• 主导或核心参与过开源评测项目或 Benchmark 建设
• 有大模型微调（SFT/RLHF/DPO）或复杂 Agent 应用落地经验
• 在 NeurIPS、ICML、ACL、EMNLP、ICLR 等顶会发表过论文

岗位标签

NEW

特色标签

AI智能体、Jira、Postman、Python、Selenium、Web测试经验、Web端自动化评测工具、人类反馈强化学习、功能测试、发表算法相关优秀论文、图像、图像算法、图文视频联合生成、基于人类反馈的强化学习、基准测试、基础模型、多模态内容生成、多模态理解模型、多模态算法、大模型算法、大语言模型、强化学习、强化学习对齐、性能评估、指令微调、智能体、有监督微调、机器学习、标准化评测集、模型评测、测试工具、浏览器自动化工具、深度学习、监督微调、直播/视频测试经验、算法工程化经验、聊天机器人、自主代理、自动化测试、自动化测试框架、自动化测试经验、自然语言处理算法、行为过程奖励模型、视觉-语言融合模型、视觉语言模型、计算机相关专业、评估、评测基准、语音、语音算法、跨模态生成、轨迹奖励模型、过程奖励模型、预训练大模型