【蚂蚁星】算法工程师-多模态大模型-大安全（实习）

岗位职责

部门介绍： 团队在多模态大模型的音频/视频/图像的识别、伪造检测、推理、大模型压缩和加速以及安全性上，团队发表20+顶会论文，其中在AI与计算机视觉六大顶会（CVPR, ICCV, ECCV, ICLR, NeurIPS,ICML）及顶级期刊累计产出10+高质量论文，成果被视觉领域顶级期刊IJCV 以及 TCSVT 收录，相关成果在光鉴凭证产品、视频核身产品、声纹核身产品上进行推广和应用。 1.AudioMCQ，开源了最大规模、最高质量的音频后训练数据集AudioMCQ（完全基于开源数据）。该模型在MMAU、MMAR、MMSU等主流评测基准上达到了新的SOTA性能； 2.Forensichub，首次提出虚假图像检测和定位任务（FIDL）来统一四个现有图像取证赛道，以解决领域孤岛和实际应用脱节这两个长期存在的问题，构建了一套完整的跨领域间统一的基准和代码库； 3.openmmsec，开源了首个开放式多模态 AI安全基准数据集openmmsec。该数据集有百万量级，从而成为推动安全技术进化、筑牢可信AI生态的关键力量； 4.textShield-R1，首个将强化学习（Reinforcement Learning,RL）引入到多模态大语言模型（MLLM）篡改文本检测任务中的框架； 5.DAR (Depth AutoRegressive)框架，将单目深度估计（Monocular Depth Estimation）视为一种序列生成任务，而非传统的回归或分类任务。融合了连续和离散的特点，提升了算法的稳定性，刷新了zero-shot生成能力的算法性能； 6.order chain，解决了多模态大语言模型（MLLM）在“序数理解（Ordinal Understanding）”方面的短板，显著提升了模型在细粒度视觉推理任务中的准确性和泛化性； 7.OmniZip，行业第一个为OmniLLMs量身定制的视听令牌压缩方法。在保持98%模型性能的同时，将FLOPs减少了60%-70%，并实现2.51-3.42倍的推理加速比。

职位描述： 1.伪造检测方向，统一篡改和生成，统一图像、音频和视频的Allinone模型，并探索推理和生成reward； 2.多模推理方向，视觉图像&视频reasoning，提升理解和推理能力，攻坚reward设计、多模态推理框架设计等核心问题； 3.多模交互方向，构建统一的端到端多模态模型，使其能够像人类一样同时感知多种模态的信息（文本、图像、音频、视频），并以流式方式生成文本和自然语音响应。

任职要求

1.出色的教育或研究背景，有相关方向经验，博士优先； 2. 专业扎实的基础知识和Coding能力，有影响力的一作顶会及期刊论文； 3. 优秀的分析和解决问题能力，良好的团队协作和沟通能力； 4. 自驱、好奇、专业，对AI有热情，对做有影响力工作有信念。

特色标签

AI安全、AI生成内容检测、令牌压缩、内容安全、内容篡改检测、发表算法相关优秀论文、可信AI、图像伪造检测、图像算法、多模态AI模型、多模态大语言模型、多模态安全、多模态感知、多模态推理、多模态算法、多模态篡改检测、大模型算法、安全、实时多模态生成、序数推理、强化学习、强化学习奖励、推理加速、推理奖励、文本篡改检测、模型加速/性能优化、模型压缩、流式响应、流式语音生成、深度学习、生成奖励、等级理解、算法工程化经验、自然语言处理算法、视觉推理、语音算法、跨模态理解、音视频伪造检测、音视频分析、顺序理解