最近新进了个项目组，数据这里缺人过去帮忙。ETL抽取数据，然后推到另一个库了。
流程大概是从浪潮的库里抽取我们想要的数据，推到一个中间库里清洗，然后在从中间库把我们想要的数据存储到新库中。
下面是一个最简单的抽取转换过程：注意表输入和表输出，所用的库和表。（先填加数据库连接）
数据抽取.png
表输入中写咱们select的数据
查询语句。
要注意表输出的库和要输出的表，以及所用的字段
表输出
左后点击上角的三角箭头，跑下流程，日志显示成功就完成了一个最简单的数据转换。
（这是我第一次弄得完整的一个包，弄完还挺有成就感的，感觉etl这个东西在数据转换的时候还是蛮好用的，只要弄清逻辑，其他的都很easy~。但是值得注意的是在多个数据库转换数据的时候，有可能会在某个id主键上会有replace加上一些标识，比如他是那个库推过来，这里在查询的时候需要注意，需要加上或者去掉replace的内容，不然会查不到，这是我做这个包的时候遇到的小坑）
流程作业
下面这个流程 就是我当属遇到的小坑，当时就是为啥我的流程还在，怎么数据会被删掉，后来发现原来是在gs_ywbl_lc查这个表的时候，之前加的标识没有去掉，在后面那个数据查询里没有查到，满足了过滤的条件，然后被删掉了。
还原状态流程
ETL 这个东西真的是简单强大，但是一定要想清楚你这个包的逻辑关系，不然实际开发中，或者项目上线后漏掉一条数据话，那将会是非常难受的，一句话"工作时候，细心，认真总是没错的。"
------回首向来萧瑟处，归去，也无风雨也无晴。
网友评论