【Plan A】AI工程师-大模型评测-百灵基模-27届

岗位职责

Ling Team 聚焦百灵模型家族的核心算法创新。 基模评测关注的不只是 benchmark 分数本身，而是这些分数能否真实反映：

• 模型的极限深度思考能力，是否被评测方法真正捕捉，而非被表面正确率掩盖；
• 长程推理与规划能力，是否经得起多步骤、跨阶段的严格验证；
• Agentic 执行与真实世界决策的效果，能否被准确、可信地量化；
• 模型能力在工业规模持续训练下的演化趋势，是否能被稳定追踪而不被系统噪声干扰。 在万亿参数与百万亿 token 规模下，评测不再是""训练完之后跑一遍榜""的收尾工作，而是必须与训练系统深度耦合、贯穿预训练全程的核心环节。本岗位将负责构建能够穿透系统噪声、真实反映模型能力演化的评测体系，为架构选型、scaling law 验证与训练策略调整提供第一手判据。我们寻找的不是只会跑评测脚本、看分数涨跌的执行者，而是能理解训练系统内部机制、并从系统视角反推评测方法论设计的核心成员。

任职要求

1. 大规模评测体系构建
   • 设计支撑万亿参数、百万亿 token 规模训练的评测框架与流水线；
   • 结合分布式训练体系（TP / PP / SP / EP / CP），排查评测结果中的系统性噪声与偏差；
   • 建立模型能力的定量评估框架，支撑架构 / 超参 / 数据 scaling laws 的验证。
2. 评测与训练系统协同
   • 深入 Megatron / DeepSpeed / FSDP 等框架底层，理解训练过程对评测结果的潜在影响；
   • 结合 CUDA / NCCL 通信优化原理，定位评测流程中的性能瓶颈并推动优化；
   • 与系统团队协作，完成评测系统与训练系统的架构级 co-design，确保评测结果的可信度。
3. 能力边界的定量刻画
   • 从算法目标反推评测指标设计，构建能反映深度思考、长程推理、Agentic 执行等能力的评测方法；
   • 对 scaling law 与系统瓶颈保持直觉判断，识别评测数据中的异常信号；
   • 支撑 mid-training、能力迁移机制等阶段的效果验证。
4. 后训练与强化学习效果评估
   • 构建针对 SFT / RLVR / Agentic RL / RLHF / distillation 等后训练范式的评测方案；
   • 设计""正确性 × 过程质量 × 信息密度""复合维度下的评测指标体系；
   • 评估 reasoning 与 tool-use 协同能力，支撑周级别长程工作能力的验证。
5. 跨团队协作
   • 与训练研究员进行深度合作，从第一性原理出发，推导评测系统设计，避免经验主义堆叠指标。

特色标签

agent能力、C/C++、Python、RLHF、SFT、Shell、云服务、云计算、代理决策、分布式计算、分布式训练、分布式训练框架、协同设计、后训练范式、基准数据集、基准测试、基础模型、复杂推理、多步推理、大模型算法、大语言模型、尺度定律、并行计算、强化学习、微调、性能测试、扩展规律、指标体系、指标检验、智能体、有留学背景、架构级优化、标准测试集、榜单、模型加速/性能优化、比例律、测评、测评流水线、深度推理、算法工程化经验、系统耦合、联合设计、能力衡量、自主执行、自然语言处理算法、规模法则、训练平台、评估、评估系统、评测框架、超大规模模型、长链推理、预训练模型、预训练系统