大模型路由与评测工程师

岗位职责

岗位介绍： 负责米哈游内部模型和 Agent 的智能路由与评测体系，通过可重复的实验判断不同模型适合处理什么任务，并在效果、成本、延迟和可用性之间形成合理的选择策略。

工作内容:

1. 建设规则路由、Embedding 语义路由和模型驱动路由，根据任务类型和模型能力选择合适的模型。
2. 建设模型能力标签、任务分类、路由策略版本和灰度实验机制，使路由结果可解释、可回滚。
3. 搭建模型及 Agent 评测数据集、评分器和回归测试，覆盖代码、工具使用、长程任务及内部业务场景。
4. 对比固定强模型、固定低成本模型和智能路由在成功率、成本、延迟、Fallback 和错路由方面的表现。
5. 分析异常评测结果，区分模型能力变化、数据问题、评分问题和评测基础设施问题。
6. 将离线评测、线上 Trace、用户反馈和生产指标用于模型选型及路由策略迭代。

任职要求

1. 熟练使用 Python，具备数据处理、实验设计和工程实现能力。
2. 熟悉大语言模型的使用方式，理解 Prompt、Embedding、工具调用和 Agent 的基本原理。
3. 能够将业务需求转化为可执行的评测任务和清晰的衡量指标。
4. 对实验结果保持严谨，能够处理样本偏差、模型波动和自动评分误差。