蚂蚁集团-大模型 Benchmark 与评测体系工程师 / 专家-杭州/北京

岗位职责

1. 评测洞察与缺陷定位：基于对抗性分析、错误归因、能力边界挖掘等方法，系统定位模型在金融、医疗等场景的核心短板，推动形成“评测-反馈-优化”的技术闭环。
2. 前沿评测范式探索：追踪全球前沿Benchmark与评估技术，研究RLHF/DPO等对齐数据驱动的新评估范式，探索仿真环境、Agent链路评测等新方法，保持技术领先。
3. 评测体系设计与平台化落地：主导设计数据驱动的LLM/多模态/Agent评测体系，建设自动化评测分析能力，支持在平台上完成评测任务的适配、调度与规模化分析。
4. Benchmark与数据资产建设：负责评测数据采集、清洗、标注、版本管理与标准制定，构建高质量、多样化的Benchmark资产：

• 金融领域：构建并落地多个覆盖金融知识、推理、合规性的专业评测基准，并完成在平台上的自动化适配与调度。
• 医疗领域：针对个性化、专业人设、共情能力、长程记忆等高阶交互能力，产出多个创新评测基准，定义下一代智能健康助手的评估标准。

1. 快速迭代与工程协同：面向模型快速迭代节奏，提升评测链路自动化与迭代效率，支撑多团队、多模型、多版本的高频评测与回归。

任职要求

• 计算机、人工智能、数学等相关专业，研究生及以上学历优先。

• 3年以上AI/NLP/模型评测相关经验，至少1年大模型相关项目经验。

• 优秀的数据敏感度与逻辑分析能力，能从复杂数据中定位关键问题并给出可落地方案。

• 深入理解大模型全链路：训练、推理、微调、评估与对齐。

• 扎实的Python与算法基础，熟悉PyTorch等主流深度学习框架；具备良好的工程化能力。

• 强烈技术好奇心、自我驱动力；跨团队沟通协作能力强，适应高频迭代节奏。

加分项：

• 主导或核心参与过业界知名的开源评测项目或 Benchmark 建设。

• 拥有丰富的大模型微调（SFT/RLHF/DPO）或复杂应用落地项目经验。

• 在 NeurIPS、ICML、ACL、EMNLP 等相关顶会发表过高质量论文。

特色标签

AI Agent、Benchmark、LLM、Python、Shell、SQL、人类偏好优化、人类偏好强化学习、人类反馈强化学习、保险、信贷、偏好对齐、具身智能、医疗、医疗健康、医疗助手、反洗钱、发表算法相关优秀论文、合规、基准测试、多模态大模型、多模态算法、大型预训练模型、大模型算法、大语言模型、工程化落地、强化学习、支付、数据挖掘、智慧医疗、智能体、测评、理财、短板挖掘、算法工程化经验、能力短板、自动化评测平台、自然语言处理算法、评估、评测中台、跨模态模型、金融、金融知识、金融科技、金融领域、银行、错误归因