AI评测负责人（Agent/大模型方向）

岗位职责

1. 统筹腾讯电脑管家系列 Agent（如管家云端 Agent、磁盘清理专家等）以及自研微调模型的 AI 评测与质量保障工作，对产品和模型的效果质量负责；
2. 规划并主导 AI 评测体系建设，制定中长期路线图，覆盖模型能力评测、Agent 任务评测和端到端产品评测；牵头制定评测标准、指标体系和评测流程，构建贴合业务的自有 Benchmark；
3. 建立评测驱动的研发机制：把评测结果接入模型迭代、Agent 发版和 CI 流程，设定安全红线和质量门禁；为产品决策、模型选型和微调方向提供数据依据；
4. 主导评测工程平台建设，包括评测集管理、评测执行器、判分器（规则判分、状态比对、LLM-as-Judge 及人工校准）和线上采样评测；打通“线上 trace、Bad Case 挖掘、回归评测集”的闭环；
5. 打通线上反馈闭环：从用户真实 trace、负反馈、Bad Case 中挖掘问题，持续沉淀为回归评测集。组建并带领评测团队，推动评测结论落地为实际改进；
6. 研判业界评测基准与方法的演进趋势，例如 SWE-bench Verified / Pro、Terminal-Bench、OSWorld、Windows Agent Arena、τ-bench、OS-Harm，识别公开基准的饱和与数据污染问题，结合业务做适配与创新，并对外沉淀技术影响力。

任职要求

1. 本科及以上学历，计算机科学、软件工程、人工智能或相关专业，硕士优先； 2.5 年以上质量保障、算法评测或相关领域经验，其中有 2 年 LLM 或 Agent 评测经验更佳；有从零搭建评测体系并推动落地的完整经历； 3.2 年以上团队管理或技术牵头经验，能带领团队完成目标；较好的跨团队沟通与推动能力；
2. 深入理解主流 LLM/Agent 评测基准与方法论，能清楚说明各类判分方式的取舍；熟悉 pass@k、pass^k、LLM-as-Judge 校准、数据污染防治等关键问题；
3. 理解大语言模型的基本原理（Transformer、预训练、SFT/LoRA 微调、RLHF、推理优化），熟悉 ReAct、Function Calling、Tool Use、Planning、多 Agent 协作等 Agent 核心概念；
4. 熟练掌握 Python，具备评测平台或自动化测试框架的架构设计能力。

产品/项目

安全管家

工作年限

五年以上工作经验