蚂蚁集团-AI Infra 训练系统高级技术专家-上海

岗位职责

1、主导大模型训练引擎与训练框架的核心架构设计，定义关键技术路线和长期演进方向； 2、建设覆盖 CPT、SFT、RL、MoE、长上下文及多模态训练的统一训练体系； 3、设计和优化数据并行、张量并行、流水并行、序列并行、专家并行及多维混合并行策略； 4、面向万卡级集群，系统优化计算、通信、显存、存储和网络效率，持续提升端到端训练性能与扩展效率； 5、建设 Checkpoint、断点续训、故障恢复、弹性训练、精度保障、性能分析和可观测体系，提升长周期训练任务的可靠性； 6、推动训练框架、编译器、通信库、算子与多种 AI 芯片之间的深度协同； 7、与模型算法团队共同开展 Algorithm-System Co-design，支持新模型结构、新训练算法和新型并行范式快速落地； 8、识别并解决跨模型、框架、系统和硬件层的关键瓶颈，沉淀可复用的架构、标准与方法论； 9、发挥技术影响力，牵引复杂项目落地，并推动团队在训练系统核心方向形成长期能力。

任职要求

1、具备扎实的计算机系统基础，在分布式系统、高性能计算、机器学习系统或计算机体系结构等方向有深入积累； 2、精通 Python、C++ 中至少一种语言，具备复杂系统架构设计和核心模块研发能力； 3、深入理解 PyTorch 运行机制，对自动微分、计算图、分布式通信、并行训练和显存管理有系统认识； 4、深入理解 Megatron-LM、FSDP、DeepSpeed、verl 等训练框架中的一种或多种，能够分析其核心架构与性能边界； 5、熟悉大规模分布式训练中的通信、计算、显存和存储瓶颈，能够完成跨层性能分析与优化； 6、熟悉 NCCL/HCCL、RDMA、集合通信算法、通信计算重叠或大规模网络拓扑； 7、具备复杂技术问题的抽象能力，能够从局部现象识别系统性根因，并形成可演进的解决方案； 8、具备较强的技术判断力和推动力，能够主导关键技术方向并协调多团队完成复杂系统建设。

加分项： 1、主导或深度参与过百亿、千亿参数模型的预训练、后训练或强化学习训练系统建设； 2、具备数百卡、千卡及以上规模的分布式训练实践； 3、在 MoE、长上下文、多模态、Agentic RL 或新型模型架构方向有系统经验； 4、具备 CUDA、Triton、CANN、算子开发、编译优化或性能建模经验； 5、具备异构芯片适配、跨硬件精度对齐或大规模训练稳定性建设经验； 6、在训练框架、分布式系统、高性能计算相关开源项目中有核心贡献； 7、有从技术方向规划、核心架构设计到规模化生产落地的完整经验。

岗位标签

NEW

特色标签

C/C++、Continual Pre-Training、Linux开发/部署经验、Long Context、Mixture-of-Experts、Python、PyTorch、Reinforcement Learning、RLHF、Supervised Fine-Tuning、万卡规模集群、上万卡集群、专家混合模型、中大型项目开发经验、云计算、云计算经验、分布式经验、分布式计算、分布式训练、动态扩缩容训练、千卡万卡集群、团队管理经验、图文联合训练、基础设施、多模态学习、多模态预训练、大数据、大模型算法、大模型训练平台、大模型训练底座、大模型训练框架、大模型训练系统、容错训练、并行计算、弹性伸缩训练、弹性分布式训练、强化学习、强化学习训练、微调阶段、持续预训练、持续预训练任务、持续预训练阶段、断点保存、有监督微调、服务端开发经验、机器学习经验、检查点、模型加速/性能优化、模型检查点、深度学习、混合专家、监督微调、稀疏专家网络、算法工程化经验、系统架构设计经验、英语读写能力良好、计算机相关专业、训练快照、超大规模GPU集群、跨模态训练、金融、长上下文窗口、长序列、长序列建模、长文本