Kettle 数据采集

Kettle简介

Kettle作为用户规模最多的开源ETL工具，强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。连Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。

Kettle界面

两种脚本文件

Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
Spoon – 用来产生和调度这两种脚本的图形界面

脚本运行示例

./kichen.sh -file ./YourScirpts/demo.kjb
./pan.sh -file YourScripts/test.ktr -param:datetime="'2017-01-01'"