元宝-LLM大模型推理工程师

岗位职责

1. 参与服务业务场景的llm大模型部署、运维、推理优化开发等相关工作；
2. 负责推理加速方法的工程实现和落地，包括但不限于模型剪枝、模型量化、动态batch等方法；
3. 调研前沿技术，推动稀疏化推理、异构推理、分布式推理等技术在搜索业务中的集成应用。

任职要求

1. 熟练掌握 C++/Python/Go语言，有2年以上llm大模型推理优化经验；
2. 具备基础的GPU编程能力，包括但不限于Cuda、OpenCL；熟悉至少一种GPU加速库，如cublas、cudnn等；
3. 有Tensorrt/Triton/sglang/vllm等推理框架的实际使用经验及二次开发经验；
4. 熟悉量化、剪枝、动态Shape、算子融合等优化方法的基本原理和适用场景；
5. 熟悉分布式推理常用加速方法，有超大模型分布式部署经验优先；
6. 具备较强的抗压能力、团队协作和沟通能力，能够高效，完成项目交付和技术创新。

产品/项目

元宝

工作年限

两年以上工作经验