晓天衡宇-多模态评测专家-音乐

岗位职责

1. 端到端项目交付：负责音乐大模型评测/标注项目的全流程落地——需求拆解、方案设计、排期推进、验收交付。
2. 评测体系搭建：建立 "评测哲学 → 维度框架 → 打分细则 → 评测集 → 报告模板" 的完整链路，沉淀可复用的方法论。
3. 标注规则与 SOP：编写大型标注规则文档，设计标签 schema，定义边界 case 判定规则，把专业判断翻译成标注员看得懂的 SOP 和样例。
4. 团队与供应商管理：管理内部评测/标注团队及外部供应商，统筹排期、产能、分工与绩效考核。
5. 质量管理：建立质检、一致性（如 Kappa）与验收机制，对数据交付质量负责。
6. 数据分析与洞察：基于评测结果设计实验、判断显著性，输出结构化洞察与产品改进建议。

任职要求

必备：

• 3 年以上标注 / 评测项目交付经验，独立负责过大型项目的完整流程。
• 项目管理：能把控进度、交付与风险，具备多线并行的统筹能力。
• 人员管理：带过内部团队 + 外部供应商团队的实战经验；熟悉供应商对接、定价、产能调度与绩效考核。
• 标注质量管理：搭建过质检体系、一致性校验与验收标准。
• 标注工程能力：写过大型标注规则文档，懂 schema 设计。能把复杂的专业判断转化为标注员可执行的 SOP 和样例。
• 懂大模型评测范式：MOS / 可接受率 / 对比评测 / GSB 评估 / A-B 测试。 加分项
• 音乐背景：音乐学院作曲 / 音乐学 / 制作背景，或资深乐评、曲库标注负责人经历；和声 / 曲式 / 编曲功底扎实，能听辨编曲细节、为标签给出明确边界，并对 Pop / Classical / EDM / Hip-hop / 民乐 等多曲风、中英文多语种均能给出专业判断。