资深研发工程师-BOSS (JR20260801003)

岗位职责

1. 负责 Agent 评测平台的整体架构设计与研发，构建覆盖对话质量、任务完成度、工具调用准确性、安全合规等维度的自动化评测能力；
2. 设计并落地评测指标体系与评测集，结合业务场景持续扩充与迭代高质量测试数据，保障评测结果的科学性与可复现性；
3. 探索并应用 LLM-as-Judge、多轮对话仿真、用户模拟器等评测技术，提升评测效率与准确度，减少人工标注依赖；
4. 建设自动化回归测试与线上质量监控能力，快速发现 Agent 效果劣化、幻觉、越权调用等问题，推动问题闭环；
5. 与产品、运营团队紧密协作，将评测结果转化为可执行的优化建议，驱动 Agent 效果持续提升。

任职要求

1. 本科及以上学历，计算机相关专业，3 年以上后端 / 平台研发经验；
2. 熟练掌握 Python/Java 等至少一种编程语言，具备扎实的编码能力，能独立完成平台核心模块的设计与开发；
3. 熟悉大模型、Agent、RAG 等 AI 技术，具备 AI Coding 研发经验，能够将AI应用于日常研发及系统建设中；
4. 了解 LLM-as-Judge、对话仿真、用户模拟器等评测方法及有评测相关开发经验者优先；
5. 逻辑清晰,具备较强的自驱力与跨团队沟通协作能力,能在业务快速迭代的环境下把握重点。

部门

Fintech Technology