因为第三方数据库不给数据字典,只提供链接。写了从Http到数据仓库的job
转换
先完成从Http到DB的数据抽取。写了一个最简单的Demo转换。
![](https://img.haomeiwen.com/i16566598/ac5605204dc98cee.png)
1. 生成记录
生成记录里存储Http请求的链接,因为http链接中有不同的传参,还没有研究出如何传参,就分了3个url。有知道的教教我
![](https://img.haomeiwen.com/i16566598/f6d88b314216c9ab.png)
2. Http请求
URL从字段中获取,对应生成记录里的字段,这里用url001,同时生成了其他两个转换用了url002和url003
![](https://img.haomeiwen.com/i16566598/adcd205ee1843554.png)
3. JSON解析
将Http中获取的JSON数据放在data字段中(data可以自己命名,与后面对应即可)。
![](https://img.haomeiwen.com/i16566598/005bea9718c95ace.png)
从data中抽取出所需要的字段,便于后续对应到数据库。(纯手工
不知道能不能自动
)![](https://img.haomeiwen.com/i16566598/d5cc33d74cd7cac2.png)
4.数据库更新/插入
建立JSON数据字段与DB表字段的对应关系。数据库的表需要先手动创建。编辑映射
在字段名字相同的情况下基本可以自动对应字段。
![](https://img.haomeiwen.com/i16566598/89b2c182e3b47a13.png)
5.数据库连接
由于本地用的是sqlite,测试服务器用的是SQL Server,贴一下两个数据库的配置
-
sqlite
sqlite
-
SQL Server
SQL Server
作业job
start后分别将url001、url002、url003三个转换依次实现。
![](https://img.haomeiwen.com/i16566598/0922aa7dedca81f6.png)
1. Start
Start可以设置定时任务等。Demo这里不需要。
![](https://img.haomeiwen.com/i16566598/62b4fb103d2edeb9.png)
2. 转换
将对应的转换文件.ktr
加入到转换中
![](https://img.haomeiwen.com/i16566598/b5c2cb5241370346.png)
执行
可以执行job了。Spoon、Pan、Kitchen都可以执行。方法在kettle初体验中。
网友评论