混元训练 Infra 工程师-Dataloader/Checkpoint 方向-（北京/深圳/上海/杭州）

岗位职责

1. 分布式 Dataloader：多源数据加载框架研发，优化预处理流水线、IO 瓶颈与数据倾斜，对接对象存储 / 分布式文件系统，支持动态采样与增量更新；​；
2. Checkpoint 管理：设计高吞吐存储 / 加载方案，优化压缩、分片与冷热分层，实现版本管理、备份恢复与分布式训练框架兼容；​；
3. 系统优化：监控吞吐 / 延迟 / 显存指标，定位性能瓶颈，保障极端场景下训练连续性；​；
4. 跨团队协作：对齐业务需求，沉淀技术最佳实践。​。

任职要求

1. 本科及以上学历，3 年 + AI Infra / 分布式系统 / HPC 经验；​；
2. 精通 Python/C++，深入理解 Linux 内核、IO 模型，熟悉 PyTorch（优先）及分布式训练原理；​；
3. 有分布式 Dataloader 研发与 IO 密集型任务优化相关经验；​；
4. 有 checkpoint 存储 / 加载 / 压缩优化相关经验；​；
5. 熟悉对象存储 / 分布式文件系统与缓存、分片策略；​；
6. 具备系统性能瓶颈分析与 GPU/CPU 优化案例。

产品/项目

公共

工作年限

一年以上工作经验