多模态Pretrain研究员(audio方向)
Company Mihoyo
Focus Tech · Algorithm
Location 上海
Published January 7, 2026
岗位职责
- 设计并研发输入输出任意模态(Any-to-Any)的统一架构,重点攻克 Audio-in-Audio-out 的原生建模;
- 研发高性能的神经音频编解码器(Neural Audio Codec),探索连续表征与离散 Token 的最优平衡;
- 利用海量多模态数据(语音、音乐、环境音、视频),负责超大规模参数模型的分布式预训练;
- 探索针对音频模态的指令微调与强化学习算法,优化模型在语音交互中的情感表达、打断机制、副语言(笑声、停顿)以及听感质量。
任职要求
- 计算机科学、人工智能、电子工程等相关博士学历;
- 具备大模型(LLM 或多模态)训练经验,深入理解 Transformer 架构及分布式训练框架(Megatron-LM, DeepSpeed,TorchTitan 等);
- 深入掌握以下至少一方向:
- Audio/Text Interleaved Pretraining
- Multimodal Alignment & RL
- End-to-End Speech Dialogue Modeling
- 精通 Pytorch,具备海量数据处理经验;
- 具备跨时区协作与良好沟通能力,结果导向,责任心强。