agent算法工程师(MJ037714)

职位描述

和算法团队一起，把 Agent 的「好不好用」变成一套可量化、可复现、可回归的评测体系——从定义标准，到搭工具，再到让它进入每一次版本发布。

岗位职责：

1）评测标准：定义评分维度与 rubric（任务完成度、事实正确性、约束满足、工具调用、时延与成本），给出可打分的正反例

2）评测集建设：从真实线上流量采样，覆盖 AI 搜索 / 导购 Copilot / 行程规划 / 智能客服，维护回归集与 badcase 闭环

3）工具链开发：批量跑测、LLM-as-Judge 多裁判、人工复核、版本对比与自动回归，结果做成看板

4）归因与落地：失败样本定位到理解 / 召回 / 工具调用 / 生成，推动评测接入发布流程

任职资格

1. 在读非应届本硕(毕业时间为28年及以后)、Python 扎实、懂 LLM 应用范式及失败模式、有评测意识（指标/基线/对照）、能把模糊问题拆成可验证方案。

2. 用过评测框架（OpenAI Evals / promptfoo / DeepEval / LangSmith / RAGAS）、懂 A/B 与统计显著性或有 Agent/RAG 项目、能 SQL 取数并搭看板。

3. 有推荐、搜索、广告相关经验优先

4. 良好的逻辑思维，对数据敏感，能够从关键数据中抓住核心问题。具有良好的团队合作意识、理解沟通能力以及独立解决问题的能力