数据技术及产品部-大模型评测算法-RSI方向

岗位职责

岗位描述：面向大模型"加速乃至自动化 AI 研发本身"的能力（自主写代码、跑实验、复现/改进算法、端到端做研究，进而推动模型自我迭代），独立负责其能力提升的完整闭环。 岗位职责：

1. 设计衡量 AI R&D 自动化 / 自我改进能力的评测任务与指标，对标并扩展业界 benchmark（RE-Bench、MLE-bench、PaperBench、SWE-bench 等）；核心指标包括相对人类专家的 uplift、长程 agentic 任务成功率、随时间 / 算力预算的收益曲线，并区分真实能力提升与刷分（reward hacking）/ 数据污染。
2. 定位模型在真实研究工程场景（跑实验、调优、写高性能算子、复现论文、自动化 ML）中的短板与失败模式。
3. 针对短板设计数据与环境合成方案：构建真实的长程研究工程环境、agentic RL 环境，结合拒绝采样、self-critique、AI feedback（RLAIF）、自动生成训练数据 / 代码等，产出高质量训练数据。

任职要求

1. 硕士及以上，机器学习 / AI 相关专业；3 年以上大模型相关研发经验，或具备高质量论文 / 开源成果（不唯年限，重在深度）。
2. 深刻理解 AI R&D 自动化 / agentic coding / 自动化科研的评测与训练范式，熟悉长程 agentic 任务、RLHF / RLAIF、reward modeling、self-improvement 等技术。
3. 熟悉主流 AI R&D / coding agent benchmark（RE-Bench、MLE-bench、PaperBench、SWE-bench、The AI Scientist 等）及其 rubric / LLM-judge 评分方法与局限。
4. 具备设计严谨评测与训练实验的能力，能识别并防范 reward hacking、数据泄漏、评测失真、评测饱和等问题。
5. 扎实的 Python / PyTorch 工程能力，熟悉分布式训练、agentic scaffold 与大规模可复现实验管线。
6. 能独立定义评测方案并推动"评测—数据—训练"闭环落地；对 AI 安全与 frontier safety framework 有认知与兴趣。

加分项

1. 有 AI R&D 自动化、agentic coding、自动化科研（AI Scientist 类）、自我改进相关的研究或工程成果；参与过相关 benchmark 建设。
2. 熟悉前沿实验室（frontier lab）的能力评估与安全评估方法论；相关顶会论文或有影响力的开源项目。

岗位标签

NEW