算法平台开发工程师（AI infra）

岗位职责

1、LLM分布式KV Cache：负责大语言模型推理及训练场景中，分布式KV Cache系统的研发与优化，如高效存储、检索、淘汰策略，以及多节点间的分布式协同与一致性方案。 2、解决大模型长上下文、高并发下的显存/内存压力，提升吞吐量并降低延迟。

任职要求

1、学历与经验： 计算机相关专业本科及以上学历，5年及以上相关领域开发经验，精通C、C++语言。 2、存储系统经验：熟悉SGLang with Tair 或 Mooncake方案。有大规模分布式存储系统开发或深度优化经验。 3、大模型经验：熟悉Transformer架构及LLM推理过程，对KV Cache机制、Attention计算有深入理解；熟悉主流训推框架（如PyTorch、vLLM、SGLang）。 4、高性能通信技术经验：熟悉RDMA编程，有基于RDMA的高性能网络通信或存储系统开发经验。