【基座大模型北斗实习】大模型多模态训练研究

岗位职责

简介：多模态训练pretrain和posttrain的前沿研究，可根据个人背景和研究兴趣选择以下方向之一深入推进：

1. 超长序列的高效pretrain训练方案。
2. 基于投机采样的方式加速多模态RL的训练效率。
3. 针对compute use场景的大规模agentic RL 高效训练方案探索。

任职要求

1. 精通 C++/Python，熟悉 CUDA 编程、NCCL 通信库或 RDMA 网络优化；
2. 具有很强的学习能力、复杂问题归纳梳理能力、沟通和团队协作能力，具备能够深度钻研技术的耐心；
3. 至少深入研读过 Megatron-LM, vLLM, Sglang, VERL 其中之一的源码，并有过定制化修改或性能调优经历。

加分项目：

1. 有很强的学术研究能力和优秀的学术成果(AI领域顶会/顶刊论文)；
2. 熟悉RL的基础算法，包括PPO、GRPO等经典RL算法。