大模型训推平台技术专家

岗位详情

工作职责

围绕自研大模型训推一体化平台，独立负责以下一个或多个方向的架构设计与落地:

1. 大规模预训练资源调度设计 GPU 万卡级集群调度系统，支持拓扑感知、跨机房调度与多租户配额;基于 K8s/Volcano 等构建调度内核，训练任务排队、抢占、弹性调度，持续提升集群 GPU 利用率;拓扑感知放置（NVLink/IB）与跨机房/跨可用区调度，最小化跨交换机通信开销;通信与存储 IO 路径优化，配合训练框架提升端到端通信效率

2. 自动故障检测与恢复:构建训练全链路健康监测与自愈闭环，最小化故障对训练进度的影响。训练全链路健康监测：NCCL hang、GPU Xid、网络抖动、存储异常的自动检测Checkpoint 自动管理 + 断点续训，故障迁移后快速恢复故障自愈闭环：检测 → 诊断 → 迁移 → 恢复，沉淀故障知识库与回溯能力

3. 模型训推 DevOps打通"代码→镜像→训练→产物→上线"全流程，构建训推一体化交付闭环。镜像与产物治理：训练/推理基础镜像标准化，模型权重与 Checkpoint 版本化 registry，统一 artifacts 生命周期管理CI/CD 与发布：训练代码与推理服务持续集成（镜像构建/单测/自动评测），推理灰度发布、回滚、A-B 流量切换可观测与稳定性：训练任务与推理服务的指标/日志/链路监控，SLI/SLO 与告警闭环，故障注入与应急演练

工作要求

任职要求

1. 本科及以上，5 年以上 Infra / 平台工程经验，能独立负责一个技术方向的架构与落地

2. 精通 Go 或 Python，深入理解 K8s 生态与 Operator 模式

3. 理解分布式训练（DDP/Pipeline/MoE）或大模型推理 Serving 架构

4. GPU 集群调度、训练框架、推理引擎至少其一有深度实战经验

5. 熟悉 NCCL / IB / RDMA 等高性能网络

加分项

1. 万卡级预训练平台或大规模推理平台 0→1 建设经验

2. 拓扑感知调度、训练故障自愈、推理分离架构其一有落地经验

3. 开源社区贡献（Megatron / Volcano / Ray / vLLM / SGLang 等）