数据技术及产品部-数据平台资深研发工程师-多模态数据湖

岗位职责

负责多模态数据存储管道研发及数据处理能力研发：

1. 主导EB级大规模非结构化数据传输功能及多模态数据管理系统设计和开发； 2. 参与高性能计算引擎架构设计：基于CPU+GPU异构计算环境，设计并研发面向多模态数据（图像、音视频、文本等）的分布式计算引擎，实现高效部署与运维； 3. 参与核心算子研发与优化：结合多模态数据特征，设计并开发高性能数据处理算子，涵盖数据清洗、特征提取、格式转换等关键环节，保障算法效率与准确性； 4. 构建数据处理最佳实践体系：针对多模态数据存储、处理特点及场景，给出算子最佳实践，如卡型选择、CPU/GPU选择等。

任职要求

1. 编程能力：精通JAVA/Python，代码风格规范，具备扎实的编程基础与工程化思维； 2. 系统架构技术： ● 精通网络编程（TCP/IP、HTTP协议）与多线程编程，熟悉XML/HTML等数据交互格式； ● 具备Unix/Linux/Win32环境下开发经验，熟练使用调试工具及性能分析工具； ● 熟悉K8S、Docker等云原生技术，能独立完成容器化部署与集群管理； 3. AI与数据存储、处理能力： ● 熟悉分布式存储系统（HDFS、S3等）及湖仓多模数据一体架构，掌握Paimon、Iceberg等数据湖格式的设计与优化； ● 深入理解AI数据处理组件原理，有RayData、Daft等框架的优化实践经验； ● 精通多模态数据处理流程，具备大规模图像、音视频等场景的实战经验，熟悉数据标注、预处理及特征工程； 4. 软技能与加分项： ● 具备良好的跨团队协作能力，能高效推动技术落地； ● 学习能力强，能快速掌握新兴技术并应用于实际场景； ● 有分布式系统性能调优经验或机器学习与数据科学背景者优先。

岗位标签

NEW