阿里控股-评测研发工程师-杭州/北京

岗位职责

1. 评测集接入：完成在评测平台上的评测任务开发，对齐数据结构、评测逻辑和评估指标，解决评测集接入过程中面临的各自问题，包括模型API、沙箱环境、网络访问、工具服务等问题。
2. 评测任务执行与对齐：负责大规模评测任务的部署、执行与监控，确保评测过程的稳定性和评测分数的准确性，为评测集方案专业性负责。
3. 结果分析与报告：对评测结果进行初步的数据清洗和格式化，为算法团队提供清晰、可靠的性能和trajectory数据报告，并能定位因适配问题导致的指标异常。
4. 评测任务Agent开发：利用Harness Engineering构建评测任务Agent，提升评测任务接入效率。
5. 评测集的构建：完成SWE类等高质量评测集的构建。

任职要求

1. 评测框架开发：开发通用、代码、多模态、agent等多维度、多场景的自动化评测框架。
2. 评测集接入：深入理解业界主流的AI/Agent评测集，负责将其数据结构、评测逻辑和评估指标，并完成评测框架的适配迁移。
3. 系统可观测开发：评测任务执行与监控，负责大规模评测任务的部署、执行与监控，确保评测过程的稳定性和数据产出的准确性。
4. 评测分析报告开发：对评测结果进行初步的数据清洗和格式化，为算法团队提供清晰、可靠的性能数据报告，并能定位因适配问题导致的数据异常。
5. 技术调研与沉淀：持续跟踪AI评测领域的最新进展，调研新的评测方法和数据集，并撰写技术文档，沉淀最佳实践。

岗位标签

NEW