一 环境
Windows 10
JDK 14.0.1
Kettle 8.2
二 介绍
Kettle 是”Kettle E.T.T.L. Envirnonment”只取首字母的缩写,这意味着它被设计用来帮助你实现你的ETTL 需要:抽取、转换、装入和加载数据;翻译成中文名称应该叫水壶,名字的起源正如该项目的主程序员MATT 在一个论坛里说的哪样:希望把各种数据放到一个壶里然后以一种指定的格式流出。
Kettle是一个组件化的集成系统,包括如下几个主要部分:
1.Spoon:图形化界面工具(GUI方式),Spoon允许你通过图形界面来设计Job和Transformation,可以保存为文件或者保存在数据库中。
也可以直接在Spoon图形化界面中运行Job和Transformation,
2.Pan:Transformation执行器(命令行方式),Pan用于在终端执行Transformation,没有图形界面。
3.Kitchen:Job执行器(命令行方式),Kitchen用于在终端执行Job,没有图形界面。
4.Carte:嵌入式Web服务,用于远程执行Job或Transformation,Kettle通过Carte建立集群。
5.Encr:Kettle用于字符串加密的命令行工具,如:对在Job或Transformation中定义的数据库连接参数进行加密。
基本概念
1.Transformation:定义对数据操作的容器,数据操作就是数据从输入到输出的一个过程,可以理解为比Job粒度更小一级的容器,我们将任务分解成Job,然后需要将Job分解成一个或多个Transformation,每个Transformation只完成一部分工作。
2.Step:是Transformation内部的最小单元,每一个Step完成一个特定的功能。
3.Job:负责将Transformation组织在一起进而完成某一工作,通常我们需要把一个大的任务分解成几个逻辑上隔离的Job,当这几个Job都完成了,也就说明这项任务完成了。
4.Job Entry:Job Entry是Job内部的执行单元,每一个Job Entry用于实现特定的功能,如:验证表是否存在,发送邮件等。可以通过Job来执行另一个Job或者Transformation,也就是说Transformation和Job都可以作为Job Entry。
5.Hop:用于在Transformation中连接Step,或者在Job中连接Job Entry,是一个数据流的图形化表示。
在Kettle中Job中的JobEntry是串行执行的,故Job中必须有一个Start的JobEntry;Transformation中的Step是并行执行的。
更详细的介绍参考:https://blog.csdn.net/u010571844/article/details/43673421
三 下载
链接: https://pan.baidu.com/s/13-VgrvryYJG8d55LQHc8rg 提取码: qry5
四 安装准备
因为kettle是由java编写的,所以需要提前安装jdk。kettle8.2版本需要安装jdk1.8以上的版本。
1.官网下载 dk_14.0.1,下载完成后双击运行默认安装即可(C:\Program Files\Java)
2.配置环境变量
(1)新建变量名"JAVA_HOME",变量值"C:\Program Files\Java\jdk-14.0.1"
(2) 编辑变量名"Path",在原变量值的最后面加上"%JAVA_HOME%\bin"
3.检验jdk是否安装成功
打开cmd输入 java -version,显示版本即表示安装成功
4. jdk14安装目录没有jre文件夹
以管理员身份打开cmd,到jdk安装目录下运行命令:bin\jlink.exe --module-path jmods --add-modules java.desktop --output jre
五 运行kettle
下载kettle的压缩包后进行解压,由于kettle是绿色无安装版的,所以解压后在data-integration目录找到Spoon.bat文件,点击运行即可。
六 运行kettle时遇到的错误
1.打开kettle后,右上角没有connect按钮。左上角的新建数据库也是显示灰色 -》 通过新建一个转换,左上角可以新建数据库连接了,可是报错:无法创建数据库连接(XulException:java.lang.reflect.InvocationTargetException)-》 最后查阅资料了解到可能是jdk版本的问题,通过卸载jdk14.0.1,安装了jdk8,重启kettle解决了问题。
###jdk环境变量的配置:
JAVA_HOME:C:\Program Files\Java\jdk1.8.0_251
CLASSPATH:.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;
Path:;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin
网友评论