因为第三方数据库不给数据字典，只提供链接。写了从Http到数据仓库的job

转换

先完成从Http到DB的数据抽取。写了一个最简单的Demo转换。

数据抽取流程

1. 生成记录

生成记录里存储Http请求的链接，因为http链接中有不同的传参，还没有研究出如何传参，就分了3个url。有知道的教教我

生成记录

2. Http请求

URL从字段中获取，对应生成记录里的字段，这里用url001，同时生成了其他两个转换用了url002和url003

Http请求

3. JSON解析

将Http中获取的JSON数据放在data字段中（data可以自己命名，与后面对应即可）。

JSON解析-获取JSON
从data中抽取出所需要的字段，便于后续对应到数据库。（纯手工不知道能不能自动）
JSON解析-字段

4.数据库更新/插入

建立JSON数据字段与DB表字段的对应关系。数据库的表需要先手动创建。编辑映射在字段名字相同的情况下基本可以自动对应字段。

数据库更新/插入

5.数据库连接

由于本地用的是sqlite，测试服务器用的是SQL Server，贴一下两个数据库的配置

• sqlite

  
  sqlite

• SQL Server

  
  SQL Server

作业job

start后分别将url001、url002、url003三个转换依次实现。

job流程

1. Start

Start可以设置定时任务等。Demo这里不需要。

Start

2. 转换

将对应的转换文件.ktr加入到转换中

屏幕快照 2019-04-15 17.10.12.png

执行

可以执行job了。Spoon、Pan、Kitchen都可以执行。方法在kettle初体验中。