百度公有云异构加速工程师（J91679）

岗位职责

训练框架二次开发与优化（大语言模型与多模态模型） -基于 Megatron-LM / DeepSpeed / Verl 等框架，进行并行策略及显存的优化 -集群化的 SFT、RLHF 等训练稳定性与吞吐优化 -多模态图文/视频/音频数据跨模态对齐训练 推理加速与集群化部署（大语言模型与多模态模型） -PD 分离框架开发与优化 -落地量化、投机解码等优化策略 -基于新的异构硬件做算子开发适配与算子性能优化 性能观测与调优 -利用 PyTorch Profiler、Nsight Systems 等工具定位分析性能瓶颈并产出优化方案

任职要求

基础 -计算机相关专业，5 年以上高性能计算/深度学习系统经验 -精通 PyTorch / CUDA，精通 Megatron-LM / Deepspeed / Verl 或 sglang / vllm，熟悉 C++/Python 混合开发，熟悉 Ray 等分布式框架 -深入理解 Transformer、Diffusion、MoE 等模型结构 加分项 -主导过大模型训练或千卡级训推集群性能调优 -开源训推框架的贡献者 -对 TPU、Ascend、AMD MI300 等异构芯片有移植经验