大数据调度工具开发专家/架构师（DataOps 方向）（深圳/北京）

岗位职责

1. 设计并实现高性能、高可用的分布式任务调度引擎，支持分钟级百万任务调度；
2. 构建分布式调度系统的高可用架构，实现故障自动转移与恢复；
3. 设计并实现监控告警体系，推动调度系统的可观测性建设；
4. 推动代码质量、单元测试和工程规范落地。

任职要求

1. 职位要求；
2. 计算机相关专业本科及以上学历，3年以上java后端开发经验；
3. 能够独立设计和实现核心模块，有高并发、高可用系统设计经验；
4. 有大数据调度系统开发经验，熟悉至少一种主流调度系统内部原理；
5. 了解大数据生态任务执行，有 Spark、Flink、Hive 等任务提交与监控的实际经验；
6. 优先条件；
7. 有商业级调度产品（如 DataWorks、DataLeap、WeData、Apache DolphinScheduler）开发经验者优先；
8. 熟悉开源调度系统（Airflow、Apache DolphinScheduler、Azkaban）源码者优先；
9. 有任务智能调度、资源优化、成本控制等AIOps相关经验者优先；
10. 熟悉大数据生态，有 Hadoop、Spark、Flink 等组件调优经验者优先。

产品/项目

大数据(数据计算平台部)

工作年限

三年以上工作经验