【快Star】基础大模型训练引擎研发工程师

岗位职责

1、参与快手大语言模型、多模态基座模型的训练引擎研发及优化工作； 2、参与快手自研生成式推荐大模型训练全链路开发和优化，以及快手广告、电商、直播、搜索等全域模型的训练全链路研发与优化； 3、设计和优化分布式训练框架，通过混合并行，通信计算overlap、低精度训练等方法解决超长序列、超大规模moe场景下的训练效率问题； 4、参与通用高性能RL框架的开发和优化，包括但不限于高效rollout、高效RL链路调度优化等； 5、通过各种技术手段持续优化性能，降低推理成本，包括但不限于：算子/编译优化、异构推理、模型量化&蒸馏、分布式并行等。

任职要求

1、精通Pytho/C++编程，有较好的编程风格和代码管理能力； 2、有优秀的逻辑分析能力，有较好的数学基础； 3、有开源大模型训练推理框架（pytorch/megatron/vllm/sglang)使用经验者优先； 4、有相关实习经验优先。