KV Cache 压缩算法工程师

岗位职责

团队介绍： 我们是京东云事业部AI Infra团队，致力于前沿的大模型技术创新与应用。我们专注于研发业界领先的大模型算法，构建极致高效的大模型训练与推理平台，提供高吞吐高可用、低成本低延迟的大模型服务。我们的核心使命是高效支持和驱动京东集团内外部的大模型业务生态及智能体应用，涵盖业界主流开源模型和京东自研模型的训练与推理服务。我们团队秉承技术驱动、创新为本的理念，为每一位成员提供广阔的成长空间和富有挑战性的项目。

1. 设计并落地量化与稀疏化压缩算法，解决大模型推理显存瓶颈，提升性能指标；
2. 针对异构硬件平台特性制定适配策略，保障压缩算法在多芯片架构高效部署与稳定运行；
3. 建立KV Cache压缩精度评测机制，量化分析方案收益与损失，支撑算法选型与迭代；
4. 推进压缩算法与上层推理框架集成，解决工程兼容性问题，确保压缩能力在完整链路生效；
5. 梳理KV Cache压缩方法论与最佳实践，探索中长期技术演进，牵引团队能力提升。

任职要求

1. 具备大模型推理优化全链路经验，熟悉KV Cache压缩技术在异构算力平台上的落地与评测，曾主导显存瓶颈相关方案；
2. 能够设计量化与稀疏化等压缩算法，解决大模型推理显存瓶颈，并推动技术指标提升；
3. 能够依据不同芯片架构特性制定适配策略，保障压缩算法在多平台高效部署与稳定运行；
4. 具备系统化问题拆解能力，能从性能数据与硬件特性中识别瓶颈，权衡压缩率与精度损失，形成可验证优化路径；
5. 能够基于评测结果持续调整压缩策略与集成方式，通过协同创新突破系统性能瓶颈；
6. 以攻克KV Cache压缩技术难题为己任，长期投入推理优化方向，致力于为业务与行业创造可持续技术价值，并在方案设计中坚持严谨实验标准与数据驱动决策。
7. 符合京东价值观：客户为先、创新、拼搏、担当、感恩、诚信。

部门

京东科技