kettle概述图
说起kettle应用，之前也接触过一小段时间，时间过得稍微久远久而不用其中的操作早已忘记。现在工作需要，重新拾起，认真系统学习一遍。
kettle是一款国外开源的ETL工具，纯JAVA编写，绿色无需安装，数据抽取高效稳定（数据迁移工具）。kettle中有两种脚本文件，transformation（转换）和job（作业），transformation完成针对数据的基础转换，job则完成整个工作流的控制。kettle中文名叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。
目前最困扰我的问题就是转换和作业的区别。
我昨天完成了新建一个转换，转换中放置了我的SP，启动一次就可以把我的SP调用了一次，对目标表数据更新一遍了；之后新建了两个作业，第一个作业转载了前面的转换当做载体使用；第二个作业装载第一个作业和其他相同主题的需求在调度平台连在了一起。
昨天遇到的一个BUG：保存完转换后因为直接保存在了文件的一级目录里，我直接把文件拖进目标目录里，再次启动这个转换的时候就报了转换无法打开的报错。才知道直接拖并不能改变转换KTR的属性的位置，里面的位置要一并改了才算位置移动顺利成功。
网上的转换和作业的关系如下所示：
一 转换（transformation）和作业（job）是SPOON设计器的核心两个内容，这两块内容构建了整个kettle工作流程的基础。转换，主要是针对数据的各种处理，一个转换里可以包含多个步骤；作业，相较于转换，是更加高级的操作。一个作业里包括多个作业项（job entry），一个作业项代表了一项工作，而转换是一种作业项，即作业里面可以包括多个转换。
二 转换更着重于对数据内容进行处理，一个转换中可以包含多个步骤。一般来说，在一个转换中，各个组件是并行执行的。当一个组件的输入流接收到内容时，这个组件便进行工作，并将结果放入到输出流中。相较而言，作业更加关心更为宏观的数据处理，比如文件和目录操作等等。一个作业可以包含多个作业项。作业和转换均可以作为一个作业项，也就是说一个作业可以包含多个自作业和转换。一个作业中的作业项之间是顺序执行的。对于一个作业项来说，只有当改作业项之前的所有作业项执行完毕后，才会执行该作业项。
transformation和job
资料来源：Kettle 转换与作业_musiccD9的博客-CSDN博客 https://blog.csdn.net/musiccD9/article/details/107303884?utm_medium=distribute.pc_relevant.none-task-blog-OPENSEARCH-2.control&dist_request_id=c7a5b442-b9b6-4267-b8ec-5f314874932a&depth_1-utm_source=distribute.pc_relevant.none-task-blog-OPENSEARCH-2.control
网友评论