点评技术-AI Agent开发工程师

岗位职责

岗位概述 负责点评业务质量保障体系中AI Agent的技术设计与开发，聚焦验收评测环节，将传统测试工具能力升级为智能化Agent形态，提升测试验证的自动化覆盖率和智能化水平。

1. 面向验收评测的 Agent 体系设计

• 深入理解点评各业务线（基础、POI、搜推等）的测试流程、验收标准和质量痛点；
• 设计和建设统一的测试 Agent 基础设施，将评测工具、验收工具、巡检工具等存量能力升级为可自主规划、自主执行的 Agent 形态；
• 推动测试模式从「人驱动工具」向「Agent 驱动测试」转变，覆盖用例理解、环境准备、执行操控、结果判定的全链路。

1. 智能评测与结果判定能力建设

• 建设基于 LLM/VLM 的智能判定能力，覆盖意图识别、结果判定、异常检测、标签生成等评测核心环节；
• 设计评测驱动的迭代流程：集中评测发现 badcase → 针对性优化 → 效果回归验证，形成质量能力的持续进化闭环；
• 通过工程 Judge、规则引擎等手段治理模型幻觉和误判，保证判定结果的可信度和稳定性。

1. 知识库与数据体系建设

• 沉淀业务质量知识库：Bug 模式、判定标准、页面结构、业务规则等，为 Agent 提供可依赖的领域知识；
• 建设面向 Agent 友好的测试数据和环境管理能力，支持低成本的用例构造与回放；
• 保证知识无过时、冲突、冗余，构建知识生产-消费-反馈的自动化闭环。

1. 模型评测与效果度量

• 建立覆盖准确性、稳定性、成本、耗时的多维度评测指标体系，量化 Agent 化改造的业务价值；
• 周期性进行 SOTA 模型（LLM/VLM）评测，根据测试场景选择高性价比模型；
• 跟踪业界 AI 验证自动化方向的前沿实践，评估并引入适合点评场景的技术能力。

任职要求

基本要求：

1. 本科及以上学历，计算机、软件工程、人工智能或相关专业，具备5年及以上软件开发、测试开发、质量工程或AI应用工程经验。

2. 具备扎实的全栈或服务端工程能力，熟练掌握Python、Java、JavaScript/TypeScript、Go等至少一种编程语言，能够独立完成AI应用、自动化工具、服务或平台能力的设计与开发。

3. 理解大语言模型、Prompt、RAG、Agent、Tool Calling、MCP等AI应用基本原理，具备Agent或AI应用的开发、集成和落地经验。

4. 熟悉软件测试理论与质量保障体系，具备接口、服务端、Web或客户端自动化测试经验，理解CI/CD、质量门禁、可观测性及持续交付实践。

5. 能围绕模型效果、任务成功、稳定性、安全性和成本设计评测方案，并通过数据驱动产品、模型和工程链路的持续优化。

6. 具备优秀的业务理解、抽象分析与跨团队协作能力，能够将复杂业务目标转化为清晰的技术方案、验收规则、评测数据和自动化验证方案。 加分项：

7. 有LLM应用、Agent、RAG或多模态产品的开发、测试、评测、调优或上线保障经验。

8. 有AI应用平台、AI评测平台、测试平台、质量中台、数据集、Benchmark或A/B实验平台建设经验。

9. 有Prompt工程、模型输出评估、幻觉检测、安全测试或AI治理相关经验。