美文网首页数仓ETL工具之Kettle
Kettle08:Kettle连接控件

Kettle08:Kettle连接控件

作者: 勇于自信 | 来源:发表于2021-05-13 10:24 被阅读0次

    本章讲解一下连接控件的案例:
    01 合并记录
    02 记录关联(笛卡尔积)
    03 记录集连接

    连接

    1.连接是转换里面的第八个分类。
    2.连接是结果集通过关键字进行连接。



    1.合并记录

    合并记录是用于将两个不同来源的数据合并,这两个来源的数据分别为旧数据和新数据,该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。

    需要设置的参数:
    旧数据来源:旧数据来源的步骤
    新数据来源:新数据来源的步骤

    标志字段:设置标志字段的名称,标志字段用于保存比较的结果,比较结果有下列几种。

    1. “identical” – 旧数据和新数据一样
    2. “changed” – 数据发生了变化;
    3. “new” – 新数据中有而旧数据中没有的记录
    4. “deleted” –旧数据中有而新数据中没有的记录
      关键字段:用于定位两个数据源中的同一条记录。
      比较字段:对于两个数据源中的同一条记录中,指定需要比较的字段。
      合并后的数据将包括旧数据来源和新数据来源里的所有数据,对于变化的数据,使用新数据代替旧数据,同时在结果里用一个标示字段,来指定新旧数据的比较结果。
      注意:
      旧数据和新数据需要事先按照关键字段排序。
      旧数据和新数据要有相同的字段名称。



      案例:
      从Excel读取新数据和旧数据,合并数据,标记处new、delete、changed、identical,把数据保存到Excel
      分析:
      输入:Excel输入
      连接:合并记录
      输出:Microsoft Excel输出


    2.记录关联(笛卡尔积)

    记录关联就是对两个数据流进行笛卡尔积操作。




    案例:
    从Excel读取两位和三位数,完成两位数和三位数的组合(笛卡尔积),把结果保存在Excel
    分析:
    输入:Excel输入
    连接:记录关联
    输出:Microsoft Excel输出

    3.记录集连接

    记录集连接就像数据库的左连接、右连接、内连接、外连接。
    注意:在进行记录集连接之前,应该要对记录集进行排序。




    案例:
    从Excel中读取employees和departments数据,进行内关键,左关联,右关联,全关联,把数据保存到Excel
    分析:
    输入:Excel输入
    转换:排序记录
    连接:记录集连接
    输出:Microsoft Excel输出


    相关文章

      网友评论

        本文标题:Kettle08:Kettle连接控件

        本文链接:https://www.haomeiwen.com/subject/syyadltx.html