研究型实习生-面向异构计算引擎协同的 AI Data Pipeline 端到端可观测与优化方法研究

岗位职责

研究领域： 数据处理 项目简介： AI Data Pipeline 是由数据处理、特征构造、模型推理和结果后处理共同组成的异构计算链路。不同阶段可以选择 ODPS、AntSpark、AFlow 等支持CPU/GPU计算的分布式计算引擎，也可以选择 Theta推理、AIStudio GPU Pod，以及在 AFlow 中启动 vLLM、SGLang 等本地推理运行时。同一个逻辑节点往往存在多种可行实现，但不同方案在数据规模、模型类型、资源供给、启动开销、吞吐、时延、稳定性和成本方面各有边界。 当前引擎选型与参数配置主要依赖研发经验和局部压测，缺少覆盖整条 Pipeline 的统一观测与定量分析体系。一方面，各引擎的任务、资源和性能指标口径不同，难以回答耗时与成本主要消耗在哪个节点、数据搬运和模型加载造成了多少额外开销、GPU 的高利用率是否真正转化为有效推理吞吐等问题；另一方面，单节点局部最优并不等价于 Pipeline 全局最优，例如切换到更快的推理引擎可能增加数据转换和跨系统传输成本，提高并发度也可能造成下游拥塞或资源空转。 本研究拟面向AI Data Pipeline 构建端到端可观测与自适应优化方法：建立跨引擎统一的逻辑节点、物理任务、数据流与资源消耗观测模型，研究关键路径识别和性能瓶颈归因方法；结合历史运行画像、轻量级基准测试和在线反馈，建立同时考虑语义约束、数据规模、资源可用性、完成时间、单位有效结果成本和 GPU 有效利用率的性能预测模型；进一步研究约束驱动的引擎选择与参数推荐算法，为节点选择 ODPS、AntSpark、AFlow、Theta、AIStudio GPU Pod 或本地 vLLM/SGLang，并联合优化分片数、并发度、batch size 和资源规格，形成“观测—诊断—推荐—验证—反馈”的闭环。

任职要求

研究领域：

• 目前正在攻读计算机科学或相关STEM领域的学士,硕士或博士学位
• 具有一种或多种通用编程语言的经验,包括但不限于: Java,C/C ++ 、Python、JavaScript或Go
• 具有上述研究领域的相关经验,包括行业经验或作为参与实验室研究 优先录用：
• 对技术研究充满热情,具有产生新思想和创新的能力; 在自学,问题分析和解决方面表现出色
• 在国际会议上或核心期刊发表一份或多份出版物或论文
• 至少3个月的全职工作

特色标签

AI数据流水线、AI数据管线、C/C++、Golang、Python、SGLang运行时、vLLM框架、云原生、云计算、人工智能数据流程、全流程可观测、全链路可观测、分布式引擎、分布式执行引擎、分布式计算、分布式计算框架、分布式训练、发表算法相关优秀论文、多架构计算、大数据、大数据处理工具(Spark/Hadoop/Hive)、并行计算、异构算力、引擎选型推荐、引擎配置推荐、强化学习、性能建模、性能根因分析、性能预估模型、性能预测算法、数据挖掘、有留学背景、本地推理引擎、机器学习、模型加速/性能优化、深度学习、混合计算、瓶颈定位、瓶颈诊断、端到端监控、算法工程化经验、计算引擎推荐