多模态模型安全策略专家

岗位职责

岗位详情

工作职责

1. 建设多模态安全策略体系：围绕文本、图像、音频、视频的理解与生成场景，建立风险分类、分级标准及安全响应原则，将合规要求和业务需求转化为可执行的标注规范与评测标准。
2. 安全数据标注与质量管理：结合模型训练与安全对齐需求，制定数据采样、标注和验收方案，组织开展风险标签标注、安全回复撰写及偏好排序；通过标注培训、抽检复核和疑难案例仲裁，提升数据质量与判断一致性。
3. 搭建安全评测体系：设计覆盖不同安全风险的评测集，明确评测指标与判定口径，开展模型版本对比、专项评测及回归验证，为模型迭代与上线提供依据。
4. 开展多模态对抗评测：针对越狱诱导、提示注入、跨模态组合绕过及多轮交互等场景，设计对抗用例，挖掘模型安全边界，持续沉淀攻击样本库和典型风险案例。
5. 推动安全策略优化：结合评测结果与线上风险反馈，分析风险漏放、过度拒答及跨模态安全表现差异，协同算法、产品及数据团队推进训练数据补充、策略调整和效果验证，平衡模型安全性与可用性。
6. 提升标注与评测效率：推动模型辅助标注、自动化评测和人工复核机制建设，验证自动判定与人工标准的一致性，持续提升风险覆盖度和评测效率。

工作要求

1. 本科及以上学历，具备大模型安全、内容安全策略、训练数据策略或模型评测相关工作经验。
2. 熟悉大模型及多模态模型的能力与应用场景，了解 SFT、RLHF 等安全对齐方法及其对数据的要求，能够将安全目标转化为数据建设与评测方案。
3. 具备较强的策略抽象与规则制定能力，能够处理语境依赖、隐晦表达和跨模态组合等复杂问题，形成清晰、稳定、可复用的判断标准。
4. 熟悉评测集构建、指标设计、质量抽检及问题归因方法，能够识别数据分布与样本覆盖中的不足，并提出改进方案。
5. 了解越狱、提示注入等常见攻击方式，对新型风险保持敏感，具备主动发现问题和设计测试用例的能力。
6. 具备良好的数据分析、沟通协作和项目推进能力，能够与算法、产品、标注及合规团队协同，推动策略落地。

加分项

• 有从零搭建多模态安全标注规范、评测体系或红队测试机制的经验。
• 能够开展数据分析、批量模型调用或自动化评测。
• 熟悉生成式人工智能相关法规与标准，有模型合规评测经验。
• 有海外内容安全或大模型安全策略经验，熟悉不同国家和地区的监管要求、文化差异及多语言安全风险者优先。