【Plan A】多模态大模型算法工程师-百灵-27届

岗位职责

我们正在打破模态间的壁垒，从“模态堆叠”转向“原生融合”。你将参与构建万亿级规模的百灵全模态底座，将模型视为一个复杂的动态系统进行全局优化，实现理解与生成的完美统一，并赋予模型处理结构化知识的“专家级”灵魂。 核心工作

1. 原生多模态统一架构 ，设计并研发从底层 Tokenizer层面实现文本、语音、图像、视频、点云等模态原生对齐的统一架构，摒弃传统的“外挂式”适配器（Adapter）。探索多任务在同一参数空间内的联合建模；
2. 结构化数据与知识注入，知识图谱深度融合：研究如何将垂直领域的图谱数据、结构化数据库（SQL/Excel）高效注入全模态底座，解决长尾知识缺失与逻辑幻觉问题； 3.长序列推理：构建具备长上下文处理能力的思维链机制，使模型能基于结构化事实进行复杂的多步逻辑推理；
3. 万亿级全模态模型训练，主导或参与千亿至万亿参数规模全模态大模型的全生命周期训练，处理多模态数据混合比例优化、训练稳定性评估及灾难性遗忘控制。

任职要求

1. 拥有计算机、数学、人工智能等相关专业硕士/博士学位，在多模态理解、图像/视频生成、语音理解与生成、大规模分布式训练等领域有SOTA 级别的研究产出；
2. 熟练掌握PyTorch/C++等语言编程，能够熟练使用AI编程工具，深刻理解 Megatron-LM, DeepSpeed或自研分布式框架的底层原理；
3. 在原生多模态领域（如类似 GPT-4o 或 Gemini 1.5 架构）有前瞻性研究或开发经验。

加分项：

1. 具备极强的工程直觉，能从算子级别到集群拓扑级别审视模型性能瓶颈，具备将复杂算法抽象为系统问题的能力；
2. 不仅限于视觉或语言，对语音编解码（Audio Codec）、3D 点云或结构化数据处理有跨学科的研究兴趣。

特色标签

Audio Codec、C/C++、DeepSpeed、Excel数据、Megatron-LM、Python、SQL、SQL数据、万亿参数模型、全模态大模型、全模态底座、分布式模型训练、分布式训练、分词器、原生多模态架构、发表算法相关优秀论文、图像算法、图谱嵌入、基础模型、多模态学习、多模态理解、多模态生成、多模态算法、多模态融合、多步逻辑推理、大模型算法、大规模分布式训练、大规模模型、大语言模型、并行计算、思维链推理、模型加速/性能优化、模态编码器、深度学习、知识图谱融合、端到端多模态架构、算法工程化经验、结构化数据库、结构化知识表示、统一Tokenizer、统一多模态架构、自然语言处理算法、表格数据、语音算法、语音编码、语音解码、超大规模模型、跨模态Tokenizer、长上下文推理、音频编解码