分布式推理引擎工程师

岗位职责

团队介绍： 我们是京东云事业部AI Infra团队，致力于前沿的大模型技术创新与应用。我们专注于研发业界领先的大模型算法，构建极致高效的大模型训练与推理平台，提供高吞吐高可用、低成本低延迟的大模型服务。我们的核心使命是高效支持和驱动京东集团内外部的大模型业务生态及智能体应用，涵盖业界主流开源模型和京东自研模型的训练与推理服务。我们团队秉承技术驱动、创新为本的理念，为每一位成员提供广阔的成长空间和富有挑战性的项目。

1. 制定异构硬件与主流大模型适配方案，规划引擎技术演进路线；
2. 设计并落地多维并行与通信优化策略，提升引擎吞吐量与响应速度；
3. 主导跨模块重点项目，负责需求拆解与落地跟踪，解决关键技术卡点；
4. 建立性能与稳定性量化评估体系，沉淀可复用的技术经验与方法；
5. 推动跨团队技术协作，指导团队成员在分布式推理领域成长。

任职要求

1. 具备分布式推理引擎全链路架构与优化经验，熟悉异构计算环境下大模型高效部署与性能调优；
2. 拥有针对异构硬件与大模型制定整体适配与优化方案的经验，能系统性规划技术演进路线；
3. 具备深入分析推理链路瓶颈的能力，能设计并落地多维并行策略与通信优化方案，提升系统吞吐量与响应速度；
4. 能够主导跨模块重点项目，解决技术卡点，建立性能与稳定性评估体系，沉淀可复用的团队经验；
5. 致力于在分布式推理引擎领域做到行业顶尖，以推动异构硬件与大模型高效部署为己任，严于律己、以身作则、挑战自我；
6. 符合京东价值观：客户为先、创新、拼搏、担当、感恩、诚信。

部门

京东科技