美文网首页
技术选型-Apache DolphinScheduler VS

技术选型-Apache DolphinScheduler VS

作者: 天不生我小金 | 来源:发表于2020-11-29 18:34 被阅读0次

前言:该博客主要是记录自己学习的过程,方便以后查看,当然也希望能够帮到大家。

Apache DolphinScheduler VS Xxl-Job

Apache DolphinScheduler Xxl-Job
依赖 PostgreSQL 8.2.15+ or mysql 5.6+,jdk 1.8+ ,ZooKeeper 3.4.6+,Hadoop 2.6+ or MinIO(选装, 如果需要用到资源上传功能,针对单机可以选择本地文件目录作为上传文件夹(此操作不需要部署Hadoop);当然也可以选择上传到Hadoop or MinIO集群上) mysql 5.7+,jdk 1.7+ ,maven 3.0+
单点故障 去中心化的多Master和多Worker 是,单一调度程序
HA要求 不需要(本身就支持HA) 支持
过载处理 任务队列机制,单个机器上可调度的任务数量可以灵活配置,当任务过多时会缓存在任务队列中,不会造成机器卡死 暂无
DAG监控界面 任务状态、任务类型、重试次数、任务运行机器、可视化变量等关键信息一目了然 支持简单的子任务和任务依赖,不支持完整的DAG任务
可视化流程定义 是,所有流程定义操作都是可视化的,通过拖拽任务来绘制DAG,配置数据源及资源。同时对于第三方系统,提供api方式的操作。 支持简单的指定子任务
监控告警 支持 支持
是否能暂停和恢复 支持暂停,恢复操作 不支持
是否支持多租户 支持,easyscheduler上的用户可以通过租户和hadoop用户实现多对一或一对一的映射关系,这对大数据作业的调度是非常重要的。 不支持
日志可追溯 实现每个任务实例生成一个日志文件,以/流程定义id/流程实例id/任务实例id.log的形式生成日志 支持日志查看,同时支持jstack和gc log备份到executor日志目录(executor版本大于3.0.0)
任务类型 Shell,MR,Spark,Flink,SQL(mysql,postgresql,hive,sparksql,clickhouse等),DataX,Sqoop,Python,Sub_Process,Procedure 支持以GLUE模式开发和运行脚本任务,包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本
与大数据契合度 支持大数据作业spark,hive,mr的调度,同时由于支持多租户,与大数据业务更加契合 不大行
是否支持集群扩展 是,调度器使用分布式调度,整体的调度能力会随便集群的规模线性增长,Master和Worker支持动态上下线
部署运维 简单,一键部署,支持k8s 简单,只需要部署多个Java服务,有官方实时提供的docker镜像
GitHub上star数 4.7k 16.3k
2020 年度 OSC 中国开源项目评选 675 637
License Apache License 2.0 GNU General Public License v3.0
文档 完善 完善
社区 活跃,更新快 活跃,更新快
开源时间 2019.9 2015.12
开源组织 易观开源,Apache 大众点评

架构图

image image

后记:本次分享到此结束,本人水平有限,难免有错误或遗漏之处,望大家指正和谅解,欢迎评论留言。

相关文章

网友评论

      本文标题:技术选型-Apache DolphinScheduler VS

      本文链接:https://www.haomeiwen.com/subject/hnvkwktx.html