蚂蚁集团-异构计算研发工程师-北京/杭州

岗位职责

• Software&Hardware Co-Design：深入分析 GPU 等 AI 芯片的硬件架构，构建优化大模型训推引擎，打磨极致高效的算子与显存优化技术。通过系统建设和优化，推动计算效率逼近硬件的性能极限，打造面向大模型的 AI 系统生态，提升智算集群的整体效率。
• Algorithm&System Co-Design：从系统的视角出发，和算法团队紧密配合，共同探索大模型结构和范式的创新，并面向大规模 AI 应用场景进行系统级优化与落地。

任职要求

• 计算机相关学科专业，基本功扎实，3 年以上相关工作经验。
• 具备分布式训练与端到端性能优化能力，熟练掌握 Megatron-LM、DeepSpeed、PyTorch FSDP 或同类框架，深入理解主流并行策略，能够结合模型结构与集群拓扑优化并行配置，定位并解决计算、通信、显存及数据 I/O 瓶颈，提升训练吞吐、MFU 和集群扩展效率。
• 具备大模型大规模预训练实战经验，承担过训练系统搭建、稳定性保障或故障定位等核心工作，熟悉低精度训练、数值异常排查、检查点与故障恢复；有千卡级集群训练、MoE 预训练或完整预训练项目交付经验者优先。
• 深度理解 GPU 体系结构和 CUDA 编程模型，掌握 GPU 算子开发、性能调优和显存优化技术，掌握cutlass/CuTe/triton 等算子开发工具，掌握 nsys/ncu 等 profile 工具。
• 以下经验为加分项：FlashAttention/DeepGEMM/FlashInfer 等关键加速库的源码分析和优化；vLLM／SGLang 等推理框架研发；AI编译器开发；国产加速卡适配与优化。
• 有开源贡献、系统顶会论文或者相关专利者优先。
• 有创新想法和技术攻关能力，优秀的逻辑分析和解决问题的能力，团队沟通协作能力强。

特色标签

AI训练/推理优化、C/C++、CUDA、Docker、GPU体系结构、GPU编程框架、Kubernetes、Linux内核开发、Linux开发/部署经验、Linux开发平台、Linux驱动开发、PyTorch、TensorFlow、中大型项目开发经验、云原生、云计算、云计算经验、人工智能训练、分布式经验、分布式计算、国产加速卡程序开发、图形处理器、图形开发经验、容器化技术、容器技术、并行计算、并行计算平台、开源贡献、开源项目、操作系统驱动、效率提升、显卡、智能研发、服务端开发经验、机器学习经验、深度学习推理、研发效能、系统优化、系统架构设计经验、英语读写能力良好、虚拟化技术、虚拟机、计算机相关专业、调度算法、资源管理、运维开发经验、音视频开发经验