千问事业部-内容安全自动化评测专家-北京

岗位职责

1、负责设计并持续迭代大模型的安全评测框架体系，定义评测维度、指标与分级标准； 2、通过PE/Agent搭建，实现安全评测样本的自动化生成、自动化判定；设计并落地端到端的自动化评测 Pipeline，持续迭代评测平台能力； 3、输出高质量的安全评测报告，对评测结果进行归因分析，推动模型训练、安全策略等相关方闭环优化，持续提升业务和模型的安全水位； 4、设计并执行针对大模型的对抗性红队测试，探索和落地自动化红队方法，持续发现模型安全弱点与防护漏洞； 5、基于线上海量用户数据，设计数据挖掘策略，识别真实场景中的安全风险模式，沉淀高价值 badcase 并反哺评测集和安全策略优化； 6、追踪大模型安全评测领域前沿论文与业界实践，持续引入新方法、新工具优化评测框架、自动化链路、红队测试。

任职要求

1、本科及以上学历，计算机科学/人工智能/软件工程/大数据技术/统计学或相关专业优先考虑； 2、2年以上大模型相关工作经验（评测 / 训练 / 安全 / 数据任一方向均可），有评测体系设计、Benchmark 构建、安全策略运营、安全红队测试经验者优先； 3、了解大模型的基础原理，熟悉大模型的安全风险与威胁模式，熟悉多模态/Agent原理和风险者优先考虑； 4、具备优秀的PE和 Agent搭建能力，能基于评测业务需求独立设计/迭代 PE与 Agent 系统，实现评测样本生成、评测评分等核心环节的自动化；懂Python等编程语言者、有AI coding实践经验者优先； 5、具备较强的数据分析能力和逻辑表达能力，能挖掘线上case以及输出清晰的归因分析报告； 6、具备良好的跨团队沟通与协作推动能力，能有效联动训练、策略、产品等团队解决安全问题； 7、具有很强的自驱力和学习能力，能够自主研究 AI 行业变化、跟踪技术新范式与新工具的使用，并将其转化为工作方法的持续优化。