阿里云智能-大模型推理存储研发工程师-KVCacheStore

岗位职责

1. 负责 KVCacheStore 面向大模型推理系统的客户端、SDK 与 Connector 研发，将 KV Cache 查询、读写、预取、淘汰及异常回退融入推理执行流程。
2. 研发 KV Cache 的数据组织与管理机制，结合模型并行、缓存分块和张量布局，设计缓存标识、分片映射及元数据管理方案，保障跨实例缓存复用的正确性和效率。
3. 优化 GPU 显存、主机内存、本地存储与共享存储之间的数据通路，通过批量访问、异步流水线、缓冲区复用及高性能网络通信等机制，降低缓存访问对推理关键路径的影响。
4. 结合业务负载与推理调度，优化缓存容量配比、数据放置、预取和淘汰策略，减少缓存过早失效及重复 Prefill 计算，提高有效命中率与推理吞吐。
5. 建设贯通推理引擎和存储系统的评测、可观测与诊断能力，定位性能瓶颈，完善超时、限流、故障回退及数据校验机制，保障高并发和动态扩缩容场景下的稳定运行。
6. 与客户及推理框架团队协作，推进不同模型、并行配置和部署形态下的接入与优化，沉淀标准接口、自动化测试及兼容性验证能力。

任职要求

1. 具备扎实的 C++ 系统研发能力，熟悉 Linux、多线程与异步编程、内存管理、网络通信和 I/O，能够定位复杂系统中的性能与稳定性问题。
2. 具备存储、分布式缓存或 KV 系统研发经验，在客户端数据通路、元数据管理、数据分片、缓存策略、资源管理或故障恢复等方向有深入实践。
3. 具备跨组件分析与优化能力，能够从业务请求出发，分析数据访问路径中的排队、拷贝、通信和 I/O 开销，通过代码与架构优化改善端到端效果。
4. 理解大模型推理及 KV Cache 的基本原理，愿意并能够深入推理框架代码，研究缓存的生成、分片、复用和淘汰机制。有推理引擎集成或优化经验者优先。
5. 有 RDMA、高性能 RPC、零拷贝或 GPU 数据传输实践者优先；有 vLLM、SGLang、Mooncake、NIXL 等相关项目开发经验者优先。
6. 具备严谨的实验与验证意识，能够设计可复现的性能评测、正确性测试和故障测试。善于将 AI 工具融入代码开发、测试及问题诊断流程，对生成代码和分析结论进行审查与验证。
7. 有强烈的技术热情和好奇心，自驱力和学习力强；具备良好的分析、沟通及团队合作能力；喜欢有挑战性的技术研发工作，善于攻坚克难，积极乐观、坚韧抗压、结果导向，能够持续推动问题解决和技术突破。

岗位标签

NEW