大模型数据工程师-视频理解方向

岗位职责

岗位详情

工作职责: 1、负责图像、视频、音频类多模态数据全流程处理，完成数据采集、筛选、清洗、格式转换、模态对齐、去重、分类整理等工作，保障数据集合规可用； 2、搭建并维护分布式数据处理流水线，使用分布式工具完成 TB/PB 级海量多媒体数据批量处理，持续优化处理流程，提升整体运行效率；负责管线的规范化建设，推动数据处理流程标准化、可复用； 3、主导数据处理相关内部工具建设，开发数据质量可视化平台、流程监控看板、自动化校验工具等，实现数据状态、处理进度、质量指标的可视化管理，提升数据治理的透明度与可追溯性； 4、建立数据质量标准与全链路评估体系，开展数据抽检、问题排查、异常数据过滤，把控数据集整体质量、完整性与一致性，定期输出数据质量报告与优化方案； 5、配合算法团队完成数据分装、版本管理、样本调度等工作，根据模型训练需求调整数据配比、补充专项样本，支撑多模态大模型迭代； 6、沉淀通用数据处理脚本、工具库与操作规范，优化作业流程，推动数据生产全流程自动化、标准化，降低运维成本，提升团队协作效率。 工作要求: 1、计算机、大数据、多媒体等相关专业，本科及以上学历，具备 1 年及以上图像、视频、音频多模态数据处理实战经验； 2、熟练使用 Python 进行数据脚本开发，掌握基础多媒体处理工具（FFmpeg、OpenCV 等），熟悉音视频、图片常规处理逻辑； 3、精通 Spark、Ray、Hive 等至少一种分布式计算 / 数据处理框架，有大规模离线数据集群作业落地经验，能独立进行任务调优与问题排查； 4、熟悉海量多媒体数据处理流程，在数据清洗、去重、格式统一、质量校验等环节有成熟实操经验，重视数据效率与质量管控； 5、具备数据管线规范化建设经验，能梳理并沉淀标准化流程规范，推动团队数据处理流程统一化、可复用； 6、有数据可视化工具或平台开发经验优先，熟悉常用可视化框架（如 Matplotlib/Plotly/Grafana 等），能搭建数据质量监控看板或自动化校验工具； 7、具备良好问题排查能力、执行力与团队协作意识，能承接大批量数据任务，主动优化流程、解决线上数据问题。

任职要求

（暂无）