高德-大模型推理引擎工程师/专家-北京

岗位职责

1. 负责全双工实时语音交互场景下，上下行语音链路的推理引擎整体架构设计与落地，覆盖语音前端处理（降噪、AEC、VAD）、ASR、TTS、音色转换、情感合成等全链路语音模型的推理服务建设，支持打断、优先级调度、并行处理等全双工核心交互特性。 2. 针对语音大模型的流式推理特性，开展极致性能优化，包括但不限于算子定制与优化、低精度量化（INT8/FP8/INT4）、模型压缩、内存/显存复用、编译优化、流式pipeline并行调度、分布式推理优化等，持续压缩端到端推理延迟，提升服务并发能力与资源利用率。 3. 负责推理引擎的工程化落地、工具链建设与线上稳定性保障，搭建从训练模型到推理部署的全流程自动化工具链，实现模型转换、量化、编译、部署的标准化落地；对接算法团队的模型迭代，快速支撑新模型的上线；搭建性能监控与告警体系，解决线上高并发、低延迟场景下的技术问题，保障服务SLA。 4. 预研并落地大语言模型的推理加速技术，包括分布式推理、KV Cache优化、投机解码、动态批处理等，打通语音-语言大模型的端到端推理链路，支撑多模态交互场景的技术需求。 5. 跟踪业界前沿的推理引擎、深度学习编译、模型优化技术，结合业务场景开展技术预研与落地，持续迭代推理引擎的技术竞争力。

任职要求

1. 本科及以上学历，计算机科学与技术、电子工程、自动化、通信工程等相关专业，3年及以上深度学习推理引擎/推理优化相关工作经验，优秀者可放宽年限与学历要求。 2. 精通C/C++编程语言，熟悉Python，具备扎实的算法与数据结构基础，良好的工程化编码素养与代码规范意识。 3. 精通CUDA编程，熟悉GPU架构与性能优化方法，有丰富的深度学习算子开发、优化经验；熟悉至少一种主流推理框架（TensorRT/ONNX Runtime/TVM/LibTorch等），并有深度二次开发或商业化落地经验。 4. 熟悉深度学习基本原理，掌握Transformer、Conformer、RNNT、Seq2Seq等主流模型结构，了解语音大模型（ASR/TTS/端到端语音模型）的推理特性与性能瓶颈，有相关模型的推理优化落地经验。 5. 熟悉流式推理、在线服务开发，掌握多线程、异步编程、内存管理等技术，有高并发、低延迟在线推理服务的设计与落地经验。 6. 具备良好的问题分析与解决能力，有较强的技术自驱力，能独立开展技术攻关与项目落地。

岗位标签

NEW