前言:该博客主要是记录自己学习的过程,方便以后查看,当然也希望能够帮到大家。
Apache DolphinScheduler VS Xxl-Job
Apache DolphinScheduler | Xxl-Job | |
---|---|---|
依赖 | PostgreSQL 8.2.15+ or mysql 5.6+,jdk 1.8+ ,ZooKeeper 3.4.6+,Hadoop 2.6+ or MinIO(选装, 如果需要用到资源上传功能,针对单机可以选择本地文件目录作为上传文件夹(此操作不需要部署Hadoop);当然也可以选择上传到Hadoop or MinIO集群上) | mysql 5.7+,jdk 1.7+ ,maven 3.0+ |
单点故障 | 去中心化的多Master和多Worker | 是,单一调度程序 |
HA要求 | 不需要(本身就支持HA) | 支持 |
过载处理 | 任务队列机制,单个机器上可调度的任务数量可以灵活配置,当任务过多时会缓存在任务队列中,不会造成机器卡死 | 暂无 |
DAG监控界面 | 任务状态、任务类型、重试次数、任务运行机器、可视化变量等关键信息一目了然 | 支持简单的子任务和任务依赖,不支持完整的DAG任务 |
可视化流程定义 | 是,所有流程定义操作都是可视化的,通过拖拽任务来绘制DAG,配置数据源及资源。同时对于第三方系统,提供api方式的操作。 | 支持简单的指定子任务 |
监控告警 | 支持 | 支持 |
是否能暂停和恢复 | 支持暂停,恢复操作 | 不支持 |
是否支持多租户 | 支持,easyscheduler上的用户可以通过租户和hadoop用户实现多对一或一对一的映射关系,这对大数据作业的调度是非常重要的。 | 不支持 |
日志可追溯 | 实现每个任务实例生成一个日志文件,以/流程定义id/流程实例id/任务实例id.log的形式生成日志 | 支持日志查看,同时支持jstack和gc log备份到executor日志目录(executor版本大于3.0.0) |
任务类型 | Shell,MR,Spark,Flink,SQL(mysql,postgresql,hive,sparksql,clickhouse等),DataX,Sqoop,Python,Sub_Process,Procedure | 支持以GLUE模式开发和运行脚本任务,包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本 |
与大数据契合度 | 支持大数据作业spark,hive,mr的调度,同时由于支持多租户,与大数据业务更加契合 | 不大行 |
是否支持集群扩展 | 是,调度器使用分布式调度,整体的调度能力会随便集群的规模线性增长,Master和Worker支持动态上下线 | 是 |
部署运维 | 简单,一键部署,支持k8s | 简单,只需要部署多个Java服务,有官方实时提供的docker镜像 |
GitHub上star数 | 4.7k | 16.3k |
2020 年度 OSC 中国开源项目评选 | 675 | 637 |
License | Apache License 2.0 | GNU General Public License v3.0 |
文档 | 完善 | 完善 |
社区 | 活跃,更新快 | 活跃,更新快 |
开源时间 | 2019.9 | 2015.12 |
开源组织 | 易观开源,Apache | 大众点评 |
架构图
![](https://img.haomeiwen.com/i16847375/80ca2bf88e5d5f3e.png)
![](https://img.haomeiwen.com/i16847375/3dc79e2c94fc92e0.jpg)
后记:本次分享到此结束,本人水平有限,难免有错误或遗漏之处,望大家指正和谅解,欢迎评论留言。
网友评论