大模型评测实习生

岗位职责

1. 以算法视角，参与快手大模型（包括不限于LLM、T2I、T2V、I2V、MLLM模型）评测工作和评测体系建设；
2. 参与评测相关自动化评测工具开发及维护，最大化提高评测效率；
3. 以算法手段，对基座大模型和AI Native应用进行分阶段、端到端评测；
4. 参与构建评测Agent工具链、对战平台、模型竞技场、模型效果判别模型、应用数据飞轮等工具链建设。

任职要求

1. 本科及以上学历，计算机、人工智能、大数据、统计等相关专业优先；

2. 算法基础扎实，熟悉 Transformer、Bert、DiT、CLIP、CNN、GAN、VAE、Diffusion Models等AI模型基本原理；

3. 具备良好的数据化思维，能够基于数据分析结果给出分析结论，熟悉ACC、AUC、F

4. recall等基本的模型评估指标计算方式；

5. 熟悉常见的模型架构，能够训练或微调常见CV、NLP、LLM、MLLM模型；

6. 良好的沟通能力和团队协作精神，严谨的工作态度与高质量意识，对大模型技术有热情和探索精神；

7. 具备良好的视野，善于学习新的知识、阅读论文、动手能力强、有进取心。 加分项：

8. 有顶会论文、国家或国际奖项、专利获得者、算法竞赛获奖者优先考虑；

9. 实际参与过AIGC、大模型相关的项目研发优先；

10. 了解分布式系统、调度、容器、代码管理相关领域技术，熟悉Kubernetes、Docker、Yarn等原理与应用；

11. 熟悉常见模型评测数据集、评测方法，包括但不限于C-Eval、CMMU、MT-bench、MINT、SuperCLUE；

12. 熟悉Bert、CLIP、BLIP、ResNet、VGG、RCNN、Yolo等常见算法原理及训练实操。