大语言基座模型训练研究员 / 工程师(J100842)
Company Baidu
Focus Tech · Backend
Location 北京
Published July 21, 2026
岗位职责
-参与大语言模型预训练或中训练(Mid-training),推动 base model 核心能力演进 -开展长上下文(32K–256K+)、代码、数学、Agent 等专项能力中训练,构造合成/交互轨迹数据 -负责训练数据的清洗、配比与质量评估,设计并迭代数据 recipe -设计并优化训练 recipe,包括训练目标、学习率策略、batch size、sequence length 等核心超参 -定位和解决训练稳定性问题,如 loss spike、梯度异常、数据污染、短能力回退等 -负责模型 checkpoint 分析、能力评测与训练 ablation,驱动训练效果持续提升
任职要求
-计算机、数学、统计或相关专业硕士及以上学历,顶尖实验室/基座模型团队背景优先 -有长上下文中训练、代码模型(SWE-bench/repo-level)或 Agent trajectory 数据训练经验者优先 -有大模型预训练或 Mid-training 实际经历,能清楚描述数据来源、训练目标与评测指标 -有顶会论文(NeurIPS、ICML、ICLR、ACL 等)、开源大模型核心贡献或模型技术报告经历者优先 -对 base model 能力边界、中训练与 post-training 差异有清晰理解 -熟悉主流分布式训练框架(Megatron、DeepSpeed、FSDP),理解 TP/PP/DP/Sequence Parallel 等并行策略
部门/组织
模型创新组