蚂蚁集团-存储加速研发工程师-杭州

岗位职责

1. 负责蚂蚁分布式存储加速系统的研发工作，为蚂蚁内部的大模型、湖仓一体、多媒体等项目提供统一的数据加速服务。
2. 负责和训练、算法团队合作，共同构建高效的数据加载和 checkpoint 读写方案，为百亿文件 + PB 级训练数据、万亿参数规模的多模态训练任务提供高效的数据读写能力，提高端到端的训练效率。
3. 负责大模型存储生态的产品构建，提高存储的易用性，e.g. 存储之间的数据同步等。
4. 负责大模型存储加速方向在学术和工业界的前沿调研。

任职要求

1. 熟悉 Java/C++，有2年以上的开发和线上问题排查经验。
2. 了解大模型训练 IO 场景细节，并有相关优化经验者优先。
3. 了解 3FS、GPFS、Alluxio、JuiceFS 等分布式缓存、文件存储系统者优先。
4. 了解 FUSE 等用户态文件系统，并有相关开发和使用经验者优先。
5. 了解 GDR、RDMA、CXL 等高性能传输技术者优先。
6. 具备良好责任心和团队合作能力，能够始终保持对技术追求的热情。

岗位标签

NEW

特色标签

AI训练任务、C++、Docker、Hive、Java、JVM、Kafka、Linux开发/部署经验、MySQL、Netty、PB级存储、Redis、Spark、万亿参数训练、云原生、云计算、分布式文件系统、分布式经验、分布式缓存、分布式计算、基础设施、多模态训练、大数据、大数据经验、并行文件系统、数据加速服务、数据库、数据湖仓、有留学背景、架构设计经验、模型断点保存、湖仓融合、用户态文件系统、用户空间文件系统、统一数据湖、缓存文件系统、训练快照、读写方案、远程直接内存访问、高性能传输技术、高性能存储、高性能网络