【基座大模型北斗实习】大模型后训练研究

岗位职责

简介：负责大规模强化学习系统设计、分布式调优、调度优化、算法 co-design等，包括不限于 RLHF、RLVR、Agentic RL等范式。和算法共同提升模型各类专项能力，应用生产力等等

你可能从事以下方向： 1、RL训练系统架构 ①设计和实现支持 PPO及各类变种算法的高效训练框架。 ②Data/Env Scaling，优化并发调度效率 。 2、在线采样 & Rollout 优化 ①优化RL场景（longcot、长尾分布、多轮交互）推理引擎效率，包括不限于量化、MTP、并行切分等等。 ②训推混部署、全流程异步训练，提升 GPU 利用率。 3、 训推一致性 ①训推引擎天然为了各自最大化效率存在精度差异，研究如何不断降低两者diff，包括不限于 Routing Replay、确定性计算等等。 4、训练稳定性 ①攻克RL训练特有的奖励Hacking、训练不稳定、KL爆炸等系统层面问题。 ②设计细粒度的训练过程监控：reward曲线、KL散度、entropy变化实时可观测。 ③优化 PPO clip、advantage normalization 等关键超参的自动调节机制。 5.、长程任务训练优化 ①长程任务奖励稀疏、过程难精确控制，研究如何系统性的优化其中工程和算法挑战。

任职要求

1、了解 PPO / GRPO / DPO 算法原理，最好动手实现过； 2、用过 veRL / OpenRLHF / TRL 等RL训练框架； 3、有 vLLM / SGLang / TensorRT-LLM 推理加速经验（rollout优化必备）； 4、做过多机多卡训练，理解显存管理和通信开销； 5、RL系统相关顶会论文（NeurIPS/ICML/ICLR/MLSys）。