大模型推理工程师

岗位职责

团队介绍 我们是京东云事业部AI Infra团队，致力于前沿的大模型技术创新与应用。我们专注于研发业界领先的大模型算法，构建极致高效的大模型训练与推理平台，提供高吞吐高可用、低成本低延迟的大模型服务。我们的核心使命是高效支持和驱动京东集团内外部的大模型业务生态及智能体应用，涵盖业界主流开源模型和京东自研模型的训练与推理服务。我们团队秉承技术驱动、创新为本的理念，为每一位成员提供广阔的成长空间和富有挑战性的项目。

1. 规划AI云推理服务技术演进方向，设计支撑高并发低延迟的分布式推理架构；
2. 研发核心算法解决业务痛点，完成从模型设计到上线验证的全流程工作；
3. 构建AI原生网关及高可用系统，实现异构资源调度、智能路由与系统可观测性；
4. 建立巡检告警与全链路监控机制，保障推理服务持续稳定运行。

任职要求

1. 具备AI推理服务全链路建设经验，熟悉云原生场景下大规模AI服务的架构设计与线上运营；
2. 能够设计并实现支撑高并发低延迟的分布式推理架构，掌握PD分离、KV池化、通信优化等关键技术路线；
3. 具备AI推理平台核心能力建设经验，能处理异构资源调度、流量治理、服务稳定性保障等复杂技术难题；
4. 拥有系统性问题洞察能力，能从复杂系统故障与性能瓶颈中定位架构缺陷，做出准确技术决策；
5. 具备前沿技术探索与实施能力，能引入并验证业界先进推理优化方案，推动技术边界突破；
6. 符合京东价值观：客户为先、创新、拼搏、担当、感恩、诚信。

部门

京东科技