【基座大模型北斗实习】大模型推理前沿研究

岗位职责

简介：打造 world class，production ready 的大模型推理引擎，可根据个人背景和研究兴趣选择以下方向之一深入推进：

1. 异构硬件高性能推理算子研究与开发。
2. Model System Co -design，充分利用硬件特性。
3. Scale up & scale out 分布式推理系统设计，高效可靠的推理调度体系。
4. 投机推理算法研究与落地。
5. 模型/KVCache 量化算法研究与算子开发。

任职要求

1. 具有扎实的编程功底，熟悉 C++/CUDA 编程最佳；
2. 深入理解 Transformer/MoE/Attention 等 LLM 概念；
3. 熟悉 RDMA，PD 分离等技术；
4. 有一手的开源推理引擎使用/开发/调优经验最佳。