网商银行-AI-Infra工程师-推训方向

岗位职责

1. 负责大模型分布式训练与推理框架的研发和性能优化，持续提升训练效率、推理吞吐、资源利用率及系统稳定性；
2. 与算法团队紧密协作，针对新模型结构（Dense/MoE等）提供框架层面的支持与适配，支撑算法高效迭代与算力高效利用；
3. 建设推理服务的可观测性与容错能力，完善监控、诊断、限流、降级与故障恢复机制，保障线上服务 SLA；
4. 调研、评估并推动 SGLang、vLLM、TensorRT-LLM、FlashInfer、Triton Inference Server 等前沿推理框架及优化技术在内部落地；
5. 参与GPU/异构集群的资源调度与成本优化，提升整体算力利用效率；

任职要求

1. 2年及以上 AI Infra、AI 系统、高性能计算或分布式系统相关研发经验；
2. 熟悉GPU 体系结构与 CUDA 编程，了解国产加速芯片（昇腾 NPU、平头哥 PPU 等）及配套软件栈者优先；
3. 熟悉SGLang、vLLM、TensorRT-LLM 等至少一种主流推理框架，有实际性能优化经验；
4. 具备分布式通信（NCCL、RDMA）及 Linux 系统级性能分析能力；
5. 良好的工程素养与协作能力，能将技术方案落地为稳定、可维护的工程产物；

岗位标签

NEW

特色标签

Ascend芯片、C/C++、CUDA内核、CUDA并行计算、CUDA编程、Docker、GPU加速卡、Kubernetes、Linux开发/部署经验、Python、PyTorch、Shell、Sparse模型、TensorFlow、云原生、云计算、云计算经验、信贷、分布式学习、分布式并行训练、分布式经验、分布式计算、分布式训练、华为昇腾、吞吐优化、国产AI加速芯片、图形处理器、基础设施、大模型算法、大模型系统、大语言模型、并行计算、性能加速、性能调优、推理加速框架、推理引擎、推理服务框架、支付、显卡计算、有留学背景、服务可用性、服务等级协议、机器学习经验、模型加速/性能优化、深度学习、混合专家模型、稀疏专家模型、算力调度、算法工程化经验、线上稳定性保障、英美留学生、英语读写能力良好、计算机相关专业、资源管理与优化、超大规模模型、金融、银行、集群训练、集群调度、风控