蚂蚁集团-推理网关研发工程师-杭州

岗位职责

我们是蚂蚁集团网络技术团队，为蚂蚁集团全站提供通智一体、稳定高效的网络基础设施产品、平台和服务。推理网关将直接服务蚂蚁阿福、阿宝、灵光等 AI 业务。

• 负责推理网关核心能力设计和开发；
• 通过创新的 GPU 流量调度算法减少推理成本、提升用户体验。

任职要求

• 熟练掌握 C、C++、Golang 一种或多种语言，3年以上系统软件开发经验；
• 具备大模型推理网关相关经验，了解主流大模型服务协议，熟悉大模型推理服务的运行机制，掌握 GPU 流量调度技术（如 Prefill/Decode 分离、Prefix Cache 感知、负载感知及 SLO 感知等）；
• 熟悉 Envoy、MOSN、AIGW 等云原生网关架构及实现原理，具备 Go/C++ 高性能网络代理开发及大规模生产实践经验；
• 熟悉分布式系统架构，理解数据分片、多副本同步、幂等处理等技术；
• 掌握性能分析和调优手段，对系统稳定性、扩展性有思考；
• 有 NVIDIA Dynamo、SGLang Router、AIBrix 等大模型推理基础设施使用或研发经验者优先。

岗位标签

NEW

特色标签

AIGW、AI推理网关、AI网关、C、C++、Envoy、Envoy代理、Envoy网关、Golang、GPU 流量调度、GPU并发调度、GPU请求调度、GPU负载均衡、LLM推理入口、MOSN、MOSN sidecar、MOSN网络代理、SLA感知调度、上下文缓存优化、云原生、云计算、保险、信贷、分布式平台、分布式架构、分布式系统、分布式经验、前缀缓存识别、基础设施、大模型推理代理、幂等机制、性能分析与调优、推理阶段拆分、支付、智能体、智能流量网关、服务等级目标感知、架构设计经验、理财、请求幂等、金融、预填充与解码解耦、风控