大数据架构资深工程师

岗位职责

岗位详情

工作职责

1. 大数据基础设施研发 （1）跟踪开源社区前沿（Hadoop、Spark、Flink、Iceberg、ES、Trino、Paimon、ClickHouse、Velox、Gluten 等），结合公司业务实际需求做选型评估 （2）对开源方案做二次开发与整合，包括但不限于性能优化、稳定性加固、与公司基础设施打通、定制化功能开发 （3）在开源方案不能满足时，主导自研组件的设计和实现，能够做到系统设计，方案讨论，代码实现，发布上线，版本迭代，线上运维等。 （4）负责的方向覆盖以下一个或多个领域：

• 批处理系统（Spark、MR 生态、向量化执行引擎如 Gluten/Velox）
• 流处理系统（Flink、Flink CDC、流批一体）
• OLAP 引擎（ClickHouse、Trino）
• 实时数仓（Lambda/Kappa 架构、湖仓一体、Iceberg/Paimon/Hudi）
• 数据集成/清洗/治理（Data Schema、AutoETL、Atalas、Ranger）
• 存储底座（HDFS、对象存储、EC、分层存储、冷热分离）

1. AI 赋能基础设施研发 （1）熟练使用 Claude Code、Cursor、Copilot 等 AI 编程工具，将 AI 深度嵌入日常工作流 （2）主导 AI 流程自动化建设，为团队赋能：

• 开发阶段：基于 AI 的代码生成、Code Review、单测生成、性能 profiling 自动化
• 发布阶段：AI 辅助的变更影响分析、灰度策略推荐、回滚决策
• 运维阶段：AI 驱动的告警归并、根因分析、故障自愈
• 答疑阶段：基于内部知识库的 RAG 答疑机器人、SQL 助手、调优建议生成 （3）沉淀 AI 工具链最佳实践，推广到全组并向外辐射

工作要求

【硬性条件】

• 985 / 211 及以上院校全日制本科及以上学历
• 5 年以上大数据相关工作经验
• 在 Hadoop 生态（HDFS / Spark / Flink / Hive / HBase 之一）有深度的源码级理解和调优经验
• 至少深度参与过 1 个大型大数据基础设施项目（EB 级存储 / PB 级日处理 / 千节点以上集群 任一）
• Java / Scala / Go / Rust / C++ 中至少两门掌握扎实
• 对 OLAP / 流处理 / 批处理 / 存储 中至少一个方向有体系化认知，在对应领域里面有深入了解、开发、应用。 【能力素质】 满足以下一项或者多项要求：
• 对开源生态高度熟悉，能快速判断"该自研、该用开源、该改开源"的边界
• 具备从 0 到 1 设计大型分布式系统的能力，能独立 owner 某个技术方向
• 良好的工程品味：代码质量、测试覆盖、可观测性、稳定性
• 熟练使用 AI 编程工具完成日常开发，对 LLM 能力边界有清晰认知
• 良好的中英文技术阅读和书面表达能力（社区 issue / PR / 设计文档） 【加分项（满足任一即可加分，多项叠加）】
• Apache 顶级项目 Committer / PMC，或活跃的 Contributor（有合入主线的非 trivial PR）
• 主导过将 AI 能力工程化落地到基础设施场景的真实案例（不只是用 ChatGPT 写代码，而是构建了系统）
• 有湖仓一体（Iceberg / Paimon / Hudi）大规模落地经验
• 有向量化执行引擎（Velox / Gluten / Photon / DuckDB）的开发或深度调优经验
• 有跨机房 / 多活 / 容灾的大数据基础设施建设经验
• 有 EB 级存储成本优化经验（EC 编码、冷热分层、磁带归档、对象存储）
• 在 GitHub 有持续的开源项目贡献