蚂蚁集团-AI质量评测工程师-杭州/北京

岗位职责

这是一个面向 AI 评测、AITesting 与业务质量保障的复合型岗位。你将参与大模型、智能体、AI 测试平台和业务系统的评测与测试建设，围绕真实业务场景，构建可复现、可自动化、可持续优化的评测和测试体系，推动 AI 能力在研发、测试和质量保障流程中的落地。 1、参与大模型、Agent、AITesting 等场景的评测体系建设，包括评测任务设计、指标定义、评测集构建、自动化评测和结果分析； 2、参与 AI 测试能力建设，包括测分 / 用例生成、接口测试、服务端测试、端到端测试、回归测试、日志 / DB / 接口校验、测试报告等能力落地； 3、结合业务需求和技术方案，完成测试计划制定、用例设计、测试执行、问题定位、回归验证和质量风险评估； 4、基于评测和测试结果，分析模型、Agent、工具链路或业务系统中的问题，推动优化闭环，提升 AI 应用效果和业务交付质量； 5、参与测试工具、自动化框架、评测平台、质量看板等工程能力建设，提升测试效率、覆盖率和问题发现能力； 6、与产品、研发、算法、测试、业务团队协作，推动问题定位、修复和持续改进，保障核心业务链路质量。

任职要求

1、熟悉软件测试基础方法，具备测试用例设计、接口测试、集成测试、回归测试等经验，有白盒测试经验更佳； 2、熟悉 Linux 操作系统，具备一定的问题排查、日志分析和脚本编写能力； 3、熟悉 Java 或其他至少一种主流编程语言，了解常见开发框架，熟悉 Shell / Python / Ruby / Perl 等脚本语言之一优先； 4、对软件工程、服务端架构、接口设计、数据一致性、质量风险有基本理解，能够参与需求分析和技术方案评审； 5、对 AI 测试、模型评测、Agent、RAG、Prompt、自动化评估等方向有兴趣，愿意学习并参与相关能力建设； 6、具备良好的沟通能力、团队协作能力和问题推进意识，能够与产品、研发、算法、测试等角色高效协作。

加分项 1、有大模型评测、LLM-as-a-Judge、Agent 评测、RAG 评测、自动化评测平台建设经验； 2、有 AITesting、测试用例自动生成、接口自动化、服务端自动化、端到端自动化测试经验； 3、有金融、支付、信贷、风控、营销等复杂业务系统测试经验； 4、有质量平台、测试工具、数据构造、Mock、日志 / DB 校验、线上核对、防线监控建设经验； 5、有 Java 服务端开发、测试开发、CI/CD、DevOps 或大型分布式系统质量保障经验； 6、有较强的数据分析、问题归因、评测集构建、难例沉淀和效果闭环意识。

岗位标签

NEW

特色标签

AI测试、Java、JMeter、MySQL、Postman、Python、REST Assured、Selenium、Shell、TestNG、Web测试经验、人工智能、人工智能测试、信贷、全流程测试、分布式计算、功能测试、回归验证、大型语言模型、大数据、大语言模型、提示工程、提示词、支付、智能体、检索增强生成、测试工具、测试评分、研发效能、端到端自动化测试、自动化回归测试、自动化测试、自动化测试经验、自动化评估、营销、评测评分、金融、风控