阿里云智能-AI产品评测工程师/专家-杭州

岗位职责

1. 构建科学高效的 AI 产品评测体系，面向云计算领域知识问答类AI应用，设计准确性、专业性、拟人性等多维指标与数据集标准，识别现有体系局限并持续优化。
2. 搭建评测工具平台，研发自动化评测工具与评测 Agent，主导高质量评测集建设，执行评测方案并产出可复现的评测结论。
3. 分析与解读评测结果，输出版本迭代效果评估报告，将结论转化为产品与管理决策建议，协调跨团队资源，驱动优化落地。
4. 主导复杂子产品 / 跨系统场景的评测方案设计，沉淀通用评测组件与方法论，解决跨业务线共性问题。
5. 跟踪业界 AI 模型、产品与前沿评测方法（生成式 AI、多模态、LLM-as-a-Judge、RAG 评测等），转化为内部评测实践。

任职要求

1. 计算机、人工智能、统计学、数学或相关专业本科及以上学历，5 年以上 AI 评测 / 测试开发 / 算法 /后端开发等相关工作经验。
2. 具备从 0 到 1 构建评测体系的能力，熟悉业界主流评测工具集与 benchmark，有独立设计并执行评测、产出结论的完整经验。
3. 熟练掌握 Python，有评测工具或自动化平台开发经验；具备 AI 模型与产品的能力分析及迭代优化分析能力。
4. 深入理解 AI 产品（模型 / 应用 / Agent）的技术原理与业务场景，能从业务视角提炼评测指标。
5. 具备复杂项目统筹与跨团队协作能力，结果导向，有较强的 Owner 意识与技术领导力。
6. 严谨细心、责任心强，具备技术品位与 AI 原生思维，优秀的沟通表达与持续学习能力。