【基座大模型北斗实习】大模型推理前沿研究

岗位职责

简介：打造 world class，production ready 的大模型推理引擎，可根据个人背景和研究兴趣选择以下方向之一深入推进： 1、异构硬件高性能推理算子研究与开发。 2、Model System Co -design，充分利用硬件特性。 3、Scale up & scale out 分布式推理系统设计，高效可靠的推理调度体系。 4、投机推理算法研究与落地。 5、模型/KVCache 量化算法研究与算子开发。

任职要求

1、具有扎实的编程功底，熟悉 C++/CUDA 编程最佳； 2、深入理解 Transformer/MoE/Attention 等 LLM 概念； 3、熟悉 RDMA，PD 分离等技术； 4、有一手的开源推理引擎使用/开发/调优经验最佳。