【北斗】大模型推理系统工程师

岗位职责

【愿景】 美团龙猫基座大模型，不只聪明，更懂生活。从语言理解到全模态感知，从架构创新到极致推理，从海量预训练到亿级真实订单 —— 我们造的不仅是实验室里的“优等生”，更是活在大街小巷、三餐四季里的AI。 而我们想做的远不止于此 —— 让模型自己提出假设、训练自己、不断进化； 让一群智能体像团队一样分工协作、攻克复杂问题； 让 AI 走出屏幕，理解物理世界、走进真实场景。 这是我们正在冲刺的方向，也是你可以参与定义的未来。 加入我们，一起把智能带进真实物理世界，亲手打造下一代 AGI！ 【团队介绍】 基座大模型AI Infra团队，以支撑前沿基础模型持续演进为目标，面向大模型研发与生产全链路，构建高性能、高稳定性、可持续扩展的AI基础设施体系。围绕高效率实验平台、大规模训练生产能力，以及模型结构与芯片架构协同优化， 沉淀软硬一体、训推贯通的关键基础能力，提升模型迭代效率、训练资源利用率与系统上限。 【你将负责】 模型推理是大模型应用的核心能力，是影响大模型应用成本和效率的关键因素。本课题专注于大模型推理加速与分布式系统优化的前沿技术探索，通过软硬件协同设计和算法工程联合优化，降低大模型推理的应用成本，提高推理性能。研究内容包括但不限于： 1.投机推理（Speculative Decoding），研究基于预测性执行的动态推理优化方法，参与设计低延迟推理框架，通过概率模型预生成候选序列以降低解码计算开销。 2.分布式系统优化，探索多节点协同推理中的通信-计算负载均衡策略，提出基于异构硬件的混合并行调度方案，实现吞吐量提升。 3.稀疏Transformer优化与模型压缩，通过稀疏Transformer优化以及模型压缩技术提升模型的计算效率。 4.算子优化，熟悉最新硬件架构的算子优化方法，通过更高效的算子优化模型的吞吐和延时。

任职要求

【任职资格】 1.熟悉PyTorch等深度学习框架。 2.熟悉sglang、vLLM、trt-llm、FasterTransformer等开源框架。 3.能够熟练掌握Python、C++、CUDA等开发语言中的一种。 4.有比较强的数据结构、算法和统计分析、数学建模的能力。 【为什么是我们】 1.大模型推理的前沿研究，从推理加速算法到推理框架、硬件感知的算子优化等方面，算法、软件、硬件协同设计的工作模式，对个人的能力提升大。 2.研究和应用相辅相成，内部大量应用场景，研究工作不缺乏落地机会。 3.团队人员工程、算法实力都比较强，能够获得非常好的成长环境。