【基座大模型北斗实习】原生多模态大模型研究

岗位职责

简介：原生多模态旨在以统一的范式处理文本、视觉、语音等各个模态的数据，从而更加自然地进行模态融合，以及通过scaling友好的训练范式，解锁模型智能的新维度。

研究课题包括但不限于： 1、探索early fusion阶段，引入图文交错/audio等多模态序列数据自监督预训练带来的scaling价值。 2、原生全模态预训练的training dynamic探究，模态之间的关系建模。 3、通过SFT / RL等手段，借助多模态token解锁模型新的智能维度，提升模型解决Robot/Gaming等物理世界问题的能力。

任职要求

岗位要求： 1、熟悉NLP、LLM、MLLM、RL等相关领域，对其中一个或多个方向有深入的研究经历，且有相关实际项目经验； 2、熟悉Python、C++等至少一门编程语言，熟悉LINUX环境； 3、熟悉 Megatron、DeepSpeed 等开源训练框架。

加分项： 1、有影响力的开源项目中做出过核心贡献； 2、发表过高水平论文优先（如NeurIPS,ICLR,ICML,ACL,EMNLP等）。