AI Infra优化工程师

岗位职责

团队介绍：我们是京东云事业部基础云业务部AI Infra团队，致力于前沿的大模型技术创新与应用。我们专注于研发业界领先的大模型算法，构建极致高效的大模型训练与推理平台，提供高吞吐高可用、低成本低延迟的大模型服务。我们的核心使命是高效支持和驱动京东集团内外部的大模型业务生态及智能体应用，涵盖业界主流开源模型和京东自研模型的训练与推理服务。我们团队秉承技术驱动、创新为本的理念，为每一位成员提供广阔的成长空间和富有挑战性的项目。

岗位职责：

1. 推理架构与引擎开发：分析LLM/多模态模型计算图与数据流，设计模型切分、并行策略、通信拓扑、量化方案等端到端架构；完成性能建模与TCO评估；主导PD分离、Attention-FFN分离等前沿架构落地，基于vLLM/SGLang/TensorRT-LLM在CPU/GPU/NPU异构集群上实现精度无损、性能最优； 2.AI编译器优化：深度优化TVM、MLIR等中间表示层，突破算子融合、内存分配、指令调度瓶颈；面向国产芯片设计自动化优化策略，支撑大模型训练与推理高效部署； 3.高性能算子开发：开发GPU/国产NPU上的FA、MLA、MoE、SWA等大模型核心算子，以及AllReduce/AllGather等集合通信算子；定位精度与性能问题； 4.系统工具链建设：构建异构集群调度、监控、一键部署与弹性伸缩平台；开发全链路Profiling与精度诊断工具（算子→通信→调度）； 5.前沿技术落地：追踪并落地Speculative Decoding、动态批处理、MoE EP、长上下文、KV Cache压缩与Offload、低比特量化（W4A8/FP8/GPTQ/AWQ）、计算通信Overlap、端云协同等技术。

任职要求

1.硕士及以上学历，计算机/电子/AI相关专业；3年以上AI系统/HPC/深度学习框架/编译器开发经验。 2.至少精通以下一个方向： 推理框架：有vLLM/SGLang/TensorRT-LLM深度开发与生产调优经验，掌握Continuous Batching、KV Cache、量化、Spec Decoding等核心技术； AI编译器：精通TVM/MLIR至少一种，具备IR优化或代码生成经验，国产芯片编译器经验优先； 高性能算子：熟悉至少一种国产NPU架构与指令集，具备FA/MLA/MoE等大模型算子开发部署经验； 精通GPU/NPU微架构与内存层次，熟悉NCCL/HCCL及TP/PP/EP/CP分布式并行范式； 熟练使用Nsight Systems/Compute、PyTorch Profiler等工具；百卡以上集群调优、开源社区贡献者优先。

符合京东价值观：客户为先、创新、拼搏、担当、感恩、诚信。

部门

京东科技