LLM Pretrain算法研究员

岗位职责

1. 专研训练框架，快速定位训练中出现的问题，分析训练过程中的模型表现，跟infra team合作来保证训练策略的正确性

2. 紧跟领域前沿技术，研究新型LLM模型架构，提升训练或推理的计算效率和模型性能

3. 研究不同架构、数据、目标函数和优化方法等各个算法方面的scaling law，总结出高效稳定的预训练策略

4. 拓展模型在长文本理解和生成的能力

任职要求

1. 计算机科学、人工智能或相关领域的硕士或博士学历

2. 在自然语言处理、大语言模型研究或机器学习领域中具有相关研究经验

3. 具备扎实的代码与算法基础，熟练掌握PyTorch等深度学习框架

4. 具备有效的沟通和协作技能，对探索新技术和推动技术创新充满热情