蚂蚁集团-垂类模型预训练科学家-北京/上海/杭州【AGI专项】

岗位职责

定义垂类基座的评估方式，研究基座能力的scaling模式，设计高效的模型架构和训练策略，利用大规模语料进行增量预训练或从头训练，解决通用基座在金融等领域的专业知识、产业专业知识、复杂数值推理上的短板，打造行业领先的垂类基座模型。

任职要求

1. 计算机科学、金融经济或相关专业背景。
2. 熟悉语言模型预训练、垂域能力增量训练、模型架构设计、Scaling Laws等技术领域。
3. 具备扎实的算法工程实现能力，熟悉PyTorch、Megatron、Transformer Engine、vLLM、SGLang等主流训练推理框架和核心依赖。
4. 具备良好的定义、分析和解决问题能力、优秀的工程素养。
5. 具备较强的团队合作和沟通能力，能够与工程团队、产品团队或其他相关团队紧密配合。

加分项：

1. Good research taste
2. Excellent hands-on skills
3. Sharp production sence
4. Following the First Principle
5. Highly self-motivated

岗位标签

NEW

特色标签

AI训练框架、distributed training、LLM、Python、Transformer架构、从头训练、优化策略、分布式训练框架、增量预训练、大数据训练、大模型推理加速、大模型算法、大模型训练系统、大语言模型、文本生成、模型缩放规律、深度学习、深度学习框架、神经网络结构、能力扩展模式、行业基座模型、训练方法、金融、金融大模型、金融文本数据、高效推理引擎