基于分层AI架构的SparkSQL自适应执行优化系统研究

岗位职责

1. 研发基于轻量级机器学习模型（如XGBoost等）的编译时智能决策引擎，在优化器关键路径实现低延迟预测性调优。
2. 扩展Spark AQE能力，实现数据倾斜自动处理、内存自适应管理与预测性调度等细粒度动态执行计划调整。
3. 构建执行结果自动采集与模型在线更新的反馈学习机制，实现自动化迭代闭环。
4. 利用大语言模型构建SQL优化知识库与建议生成系统，深度挖掘慢查询日志，沉淀可复用优化策略。
5. 推动AI架构引擎在零售核心数仓场景中的规模化落地，达成性能与资源利用率的双重提升及数亿级成本节省。

任职要求

1. 计算机科学、软件工程、数据科学或相关领域的本硕博在校生。
2. 精通Scala/Java/Python，深入理解Spark SQL内核原理（Catalyst、Tungsten、AQE）与分布式计算架构。
3. 在AI for Database、学习型查询优化器、自动数据库调优或机器学习系统等方向具有深入研究与实战经验。
4. 熟悉XGBoost/LightGBM等轻量模型，具备将ML模型嵌入生产系统关键路径的能力。
5. 熟悉LLM应用框架（如LangChain），或在系统与数据工程方向（如OSDI、SIGMOD、VLDB、ICDE等）有高水平论文发表经历者优先。

部门/板块

京东零售