大模型评测工程师-【可灵AI专项】

岗位职责

1、负责大模型（包括不限于T2V、I2V、MLLM模型）评测工作和评测体系建设，包括设计制定和完善评测方案、评测指标、评测数据收集和更新、评测执行，并输出专业评测报告； 2、参与评测相关自动化评测工具开发及维护，最大化提高评测效率； 3、以算法手段，对基座大模型和AI Native应用进行分阶段、端到端评测； 4、参与构建评测Agent工具链、对战平台、模型竞技场、模型效果判别模型、应用数据飞轮等工具链建设； 5、站在用户角度，对产品、算法发提出建设性的意见，在评测参与的各个流程中以用户视角保证产品体验。

任职要求

1、本科及以上学历，计算机、人工智能、大数据、统计等相关专业优先； 2、优秀的代码基础，至少掌握一门高级语言， 包括Python、C/C++、 Java； 3、了解 Transformer、Bert、DiT、CLIP、CNN、GAN、VAE、Diffusion Models等AI模型基本原理； 4、具备良好的数据化思维，能够基于数据分析结果给出分析结论，熟悉ACC、AUC、F1、recall等基本的模型评估指标计算方式； 5、良好的沟通能力和团队协作精神，严谨的工作态度与高质量意识，逻辑清晰、善于分析与总结，对大模型技术有热情和探索精神； 6、具备良好的视野，善于学习新的知识、阅读论文、动手能力强、有进取心。

加分项： 1、有扎实的美术素养、设计经验、视频创作影视导演编导、或者有互联网公司相关经验者优先； 2、参与AIGC、大模型相关的项目研发测试经验优先，有竞品大模型评测经验优先（如通义、即梦、混元等）； 3、有顶会论文、国家或国际奖项、专利获得者、算法竞赛获奖者优先考虑； 4、有训练或微调常见CV、NLP、LLM、MLLM模型经验优先； 5、熟悉常见算法、大模型评测基准、评测方法。