AI推理平台-百炼模型服务运行时技术专家/高级专家-杭州/北京

岗位职责

1. 核心系统研发 （1）设计与优化大模型推理服务框架与分布式缓存系统。 （2）支持多推理引擎适配、多模态推理、分布式部署及高效数据管理。 （3）开发工具链与服务化能力，包括模型量化、转换、调度与生命周期管理。
2. 性能与稳定性优化 （1）优化推理服务框架的性能，包括引擎适配、生命周期管理和资源调度。 （2）深入优化kvcache的显存、内存和存储管理、批处理、缓存策略和网络传输。 （3）支持高性能通信协议、容错与负载均衡机制。 （4）提升系统可观测性，完善监控、告警与故障恢复体系。
3. 引擎与应用集成 （1）深度集成推理引擎、缓存系统和存储系统，优化访问模式与架构设计。 （2）满足大规模、多模态推理场景下的高吞吐与低延迟需求。

任职要求

1. 必备技能 （1）扎实的 C++/Python 编程功底，具备模块化设计能力。 （2）大模型推理框架（vLLM/SGLang等）经验，理解模型推理原理。 （3）分布式系统开发经验，熟悉缓存、微服务与容器化技术。 （4）Linux、CUDA系统编程与性能调优能力。
2. 优先条件 （1）有推理引擎或分布式核心系统的研发经验。 （2）熟悉大模型推理优化、KVCache 机制、高性能计算。 （3）有云原生平台经验或开源社区贡献。 （4）有高并发在线服务的设计与运维经验。

岗位标签

NEW