评测工具开发工程师（大模型方向）

岗位职责

1、评测数据统计与可视化 ：负责评测得分数据的清洗、统计与可视化、计算整体及分维度平均分、胜率、p-value、置信区间等指标，并按阈值自动筛选 Bad/Good case，支撑效果分析；搭建可视化Dashboard，支持可视化洞察驱动模型迭代，如模型分数成长趋势； 2、提效 / 测试工具开发：根据评测流程痛点，敏捷交付脚本或小型web服务，如：prompt管理工具（生成、筛选、版本管理）、失分样本检索、模型指标统计平台化&自动生成简要报表；持续优化评测CI/CD，缩短“提测 → 评测 → 反馈 →优化”闭环。

任职要求

1、本科及以上学历； 2、具备3年及以上，测试开发经验，有相关数据分析&数据平台开发经验也欢迎投递； 3、具备优秀数据分析能力，能用 NumPy/Pandas 对大量csv数据做清洗、聚合、统计；熟练Matplotlib，可快速出可视化、为业务决策提供洞察； 4、具备 GitLab-CI 等经验；能将脚本封装为可复用流水线或轻量服务； 5、自驱&结果导向；善于跨团队沟通，乐于分享工具与最佳实践。

加分项： 1、有大厂/头部互联网公司工作经验； 2、具备图像、视频或多模态处理相关项目经验；对大模型感兴趣； 3、了解大模型评测流程、相关效果指标、如文生图、文生文、文生视频。