美文网首页
从Http到DB数据抽取

从Http到DB数据抽取

作者: JillZsy | 来源:发表于2019-04-15 17:20 被阅读0次

因为第三方数据库不给数据字典,只提供链接。写了从Http到数据仓库的job

转换

先完成从Http到DB的数据抽取。写了一个最简单的Demo转换。


数据抽取流程

1. 生成记录

生成记录里存储Http请求的链接,因为http链接中有不同的传参,还没有研究出如何传参,就分了3个url。有知道的教教我

生成记录

2. Http请求

URL从字段中获取,对应生成记录里的字段,这里用url001,同时生成了其他两个转换用了url002和url003


Http请求

3. JSON解析

将Http中获取的JSON数据放在data字段中(data可以自己命名,与后面对应即可)。

JSON解析-获取JSON
从data中抽取出所需要的字段,便于后续对应到数据库。(纯手工不知道能不能自动
JSON解析-字段

4.数据库更新/插入

建立JSON数据字段与DB表字段的对应关系。数据库的表需要先手动创建。编辑映射在字段名字相同的情况下基本可以自动对应字段。

数据库更新/插入

5.数据库连接

由于本地用的是sqlite,测试服务器用的是SQL Server,贴一下两个数据库的配置

  • sqlite


    sqlite
  • SQL Server


    SQL Server

作业job

start后分别将url001、url002、url003三个转换依次实现。


job流程

1. Start

Start可以设置定时任务等。Demo这里不需要。


Start

2. 转换

将对应的转换文件.ktr加入到转换中

屏幕快照 2019-04-15 17.10.12.png

执行

可以执行job了。Spoon、Pan、Kitchen都可以执行。方法在kettle初体验中。

相关文章

网友评论

      本文标题:从Http到DB数据抽取

      本文链接:https://www.haomeiwen.com/subject/nriuwqtx.html