阿里云智能-AI Agent 测试开发工程师-秒悟-杭州

岗位职责

• 负责 AI Agent 平台的测试体系建设，设计和实现用例自动生成、缺陷根因分析、测试执行编排等 Agent，打造智能化质量保障平台
• 建立 LLM 应用的测试方法论和评估体系，应对非确定性输出的测试挑战，覆盖 Prompt、RAG、Function Calling、多轮对话等场景的专项测试
• 深入理解复杂业务系统，设计有效的测试策略和自动化框架，参与全站架构升级中的可测性建设和稳定性保障，支撑千万级用户的业务质量
• 探索 AI 驱动的测试新范式，沉淀 Agent 协作框架、智能测试工具、模型评估体系等技术方案，推动测试工程智能化转型

任职要求

• 深度理解 AI 技术栈，熟悉 LLM、Agent、Prompt Engineering、RAG、Tool Calling 等核心概念，对 AI 系统的质量风险有认知（幻觉、偏见、安全性等）
• 具备 AI 应用测试思维，理解流式响应、多轮对话、上下文管理等 AI 场景的测试方法，能设计针对非确定性输出的验证策略
• 扎实的测试基本功和工程能力，精通性能测试、自动化测试、安全测试或白盒测试之一，熟练掌握至少一门编程语言（Python/Java/Go）
• 丰富的中大型复杂系统测试经验，能从 0 到 1 构建测试框架和平台，有测试工具研发和方案整合能力
• 逻辑思维强，对新技术敏感，学习能力强，能独立解决 AI 应用中的质量保障难题，具备良好的沟通协作能力 加分项
• 开发过 LLM 应用、AI Agent、代码生成工具等 AI 原生产品的测试体系
• 有 Agent 框架使用或研发经验（LangChain/LangGraph/AutoGPT/CrewAI 等），了解 Agent 工作流和评估方法
• 熟悉模型评估框架（RAGAS/LangSmith/Phoenix），有 LLM 模型调优、Prompt 优化或 RAG 系统测试经验
• 了解向量数据库、Embedding 技术，有 AI 系统性能测试和稳定性保障实战经验
• 在顶会/期刊发表过测试或 AI 相关论文，有开源测试框架或 AI 项目贡献