image.png
以上是一个简单的3层数仓运行调度，我们希望ods表有任何一张表etl错误，不再进行后续的edw和rst层的作业。
ods层的原始实现：
image.png
错误发邮件，正确到成功。
实际运行时，不论转换有无错误，都会继续edw和rst层作业。
经查，kettle的调度机制是回溯算法，类似“迷宫算法”。
随机选择一条路径，执行到底，然后返回到上一个分岔点，同理继续。
最终整个job的成功与否取决于最后一步作业项。
这样，最后执行的转换可能是1...n中的任一个，并不能保证有转换错误整个作业是失败状态。
根据回溯原理，要实现只要有任何一步错误都导致整个job的失败，只需将任何错误都引向一个错误节点，如图所示：
image.png
image.png
需求 以上是一个简单的3层数仓运行调度，我们希望ods表有任何一张表etl错误，不再进行后续的edw和rst层的作...
Kettle作业转换 TASKCTL默认采用pan命令方式调度kettle转换作业。除此之外，我们还提供了task...
常识：调度 有稀缺需要共享的资源，就会产生调度机制 有如下几种调度机制 进程调度 磁盘调度 设备争用总线 设备控制...
关键词：APScheduler; Python; 定时机制；调度机制；Job传递参数 APScheduler调度模...
YARN运行机制图 FIFO调度器、容量调度器、 公平调度器
1 引言 1.1 目的 通过Azkaban的批量工作量任务调度器调用kettle 调用linux命令 调用jav...
1.runtime的gc机制2.runtime的调度机制
深度优先遍历走迷宫 广度优先遍历走迷宫 代码见github
今天下雨了，所以外面有很多小水坑，如果踩到水，我的鞋子就会湿了。所以我和妹妹绕着水坑走。我们一会儿往左走，一会儿往...
我跟弟弟来到了走迷宫地方，我们从入口进去就开始绕。 走这条路不行。就走另一条路。我和弟弟来回绕。最终还是没有出去。...
本文标题：kettle的调度机制-“走迷宫”
本文链接：https://www.haomeiwen.com/subject/bpcmsftx.html
网友评论