【快Star】大模型后训练研发工程师

岗位职责

1、模型微调与对齐研发：负责大语言模型、多模态大模型的SFT监督微调、DPO、KTO、RLHF等后训练对齐算法研发与落地，优化模型对话逻辑、真实性、逻辑性、共情能力，解决模型幻觉、问答偏差、安全风险等问题； 2、领域模型专项优化：针对政企办公、金融、教育、文娱等垂直场景，开展大模型领域适配微调，构建领域专属后训练方案，提升模型在专业问答、推理、生成、决策场景下的专项能力； 3、训练数据体系建设：参与后训练高质量数据集的设计、筛选、清洗、标注与迭代优化，制定数据质量标准，挖掘数据短板，通过数据迭代驱动模型能力持续升级； 4、训练工程落地优化：基于Transformer架构，依托主流训练框架，完成大模型规模化微调、分布式训练落地，优化训练效率、显存占用、收敛效果，保障大模型后训练流程高效、稳定迭代； 5、模型评测与迭代：搭建大模型后训练评测体系，包含通用能力、领域能力、安全对齐、幻觉率、流畅度等多维度评测，根据评测结果迭代优化训练策略、数据方案与算法模型； 6、前沿技术调研落地：跟踪国内外大模型后训练、模型对齐、高效微调、小样本学习、模型轻量化等前沿技术，结合业务场景完成技术创新与落地，持续提升模型综合性能。

任职要求

1、本科及以上学历，计算机、人工智能、软件工程、数学、统计学等相关专业，有大模型后训练、微调对齐相关工作/项目经验； 2、扎实的深度学习、自然语言处理基础，熟悉Transformer核心原理，熟练掌握大模型预训练、微调、对齐的核心技术逻辑； 3、熟练使用Python编程语言，精通PyTorch/TensorFlow任意一种主流深度学习框架。

专业能力要求： 1、核心技术能力：熟练掌握大模型SFT、DPO、KTO、RLHF等主流后训练对齐算法，完整参与过7B/14B/32B及以上大模型的后训练迭代项目； 2、工程落地能力：熟悉LLaMA、Qwen、ChatGLM、Llama系列主流开源大模型，掌握LoRA、QLoRA、全量微调等高效微调方案，具备分布式微调训练落地经验； 3、数据与评测能力：具备后训练数据集构建、数据清洗、数据蒸馏经验，熟悉大模型自动化评测、人工评测体系搭建，可通过数据和评测驱动模型迭代； 4、工具框架掌握：熟练使用Hugging Face、Transformers、PEFT、TRL等开源工具库，熟悉DeepSpeed、Megatron-LM分布式训练框架者优先。