研究型实习生-面向多模态数据合成的数据质量评估体系探究

岗位职责

研究领域： 大数据 项目简介： 当前多模态合成数据质量评估高度碎片化：图文对往往仅依赖CLIP Score衡量表层相似度，视频-文本对则多聚焦检索Recall，忽视深层语义与因果关联。这种单维、分立的评估路径，无法统一刻画“事实一致性、时序一致性、跨模态对齐度、语义丰富度”等核心维度，致使标注噪声、逻辑矛盾与幻觉内容以高质量表象混入训练语料，在后训练阶段放大偏差，削弱模型泛化与推理稳定性。为此，本研究系统构建“多模态数据质量五维评估体系”：①事实一致性，核验跨模态实体、属性与事件描述是否与可验证知识对齐；②时序一致性，判定视频或长序列中动作、状态演进的因果与逻辑连贯性；③跨模态对齐度，度量文本语义与视觉/听觉信号在细粒度上的对应精度；④语义多样性，刻画样本在概念覆盖、表达方式与任务相关难度上的丰富程度；⑤安全合规性，筛查价值观风险、隐私泄露与违规内容，形成全链路质量护栏。 在此基础上，本研究设计轻量级专家模型组合以支撑自动化、可扩展评估：视频事实检测器融合视觉 grounding 与外部知识校验，降低幻觉与错位风险；时序连贯判别器以状态图与动作原语建模刻画长程依赖，识别断裂与回跳；跨模态对齐打分器通过对比性与生成式双路径，细粒度定位图文与视音错位点。与此同时，引入“质量-收益双验证”机制：在精选切片上开展小规模后训练与指令微调，直接度量不同质量分层对下游任务表现的提升幅度，利用增益曲线与消融分析反向校准评估权重与阈值，使评估体系从“静态打分”走向“训练反馈驱动”。整体实现“评得准=训得好”，为多模态数据清洗、配比与迭代提供可解释、可复用的质量基准，稳步提升模型效果与落地可靠性。

任职要求

研究领域：

• 目前正在攻读计算机科学或相关STEM领域的学士,硕士或博士学位
• 具有一种或多种通用编程语言的经验,包括但不限于: Java,C/C ++ 、Python、JavaScript或Go
• 具有上述研究领域的相关经验,包括行业经验或作为参与实验室研究 优先录用：
• 对技术研究充满热情,具有产生新思想和创新的能力; 在自学,问题分析和解决方面表现出色
• 在国际会议上或核心期刊发表一份或多份出版物或论文
• 至少3个月的全职工作

特色标签

C/C++、CLIP得分、Golang、Java、Python、事实对齐、人造数据、仿真数据、内容、再训练、动作逻辑性、发表算法相关优秀论文、因果一致性、图像、图像算法、图文对齐度、图文相似度分数、图文音视混合、增量训练、多模态算法、大数据、大数据处理工具(Spark/Hadoop/Hive)、大模型算法、幻觉噪声、异构模态、数据可信性、数据可用性、数据品质、数据挖掘、时间连贯性、机器学习、模态对应度、深度学习、生成数据、真伪核验、知识一致性、算法工程化经验、继续训练、自然语言处理算法、英美留学生、虚假内容、视音对齐度、视频、语音、质量度量、质量打分、质量评测、跨模态、跨模态匹配分、错觉样本