美文网首页SQL
kettle入门篇(三)-表与表之间的全量推送

kettle入门篇(三)-表与表之间的全量推送

作者: Shawn_Shawn | 来源:发表于2020-07-15 23:22 被阅读0次

kettle表与表之间的全量ETL

  1. 连接资源库(参考入门篇(一))

  2. 新建转换

  3. 配置表输入组件

创建源数据库,源表,插入源数据

create database test_from;

use test_from;

create table source_table(
    id int primary key,
    username varchar(50),
    password varchar(50),
    age int,
    address varchar(100)
);

insert into source_table values (1,'shawn','111111',25,'SHANGHAI');
insert into source_table values (2,'john','111111',24,'NANJING');
insert into source_table values (3,'jack','111111',26,'HANGZHOU');
insert into source_table values (4,'bill','111111',25,'BEIJING');

表输入组件,新建源数据库

kettle-full-push-new-source-connection.png

接下来的步骤,与入门篇中的创建资源库连接的是一样的,需要把数据库换成test_from,也就是你配置的源库即可。

kettle-full-push-new-source-connection-ui.png

点击获取SQL查询语句

kettle-full-push-button-getQuerySQL.png kettle-full-push-choose-source-table.png

点击确定即可。

kettle-full-push-choose-all-columns.png

如果你想包含所有的字段名,点击是即可,如果不想,就点击否,手动写自己需要的字段。这里我们就全选了。

kettle-full-push-button-viewsql.png

如果配置正确,点击关闭,然后表输入组件点击确定后保存。

  1. 配置表输出组件

创建目标数据库,目标表

create database test_to;
use test_to;
create table target_table(
    id int,
    username varchar(50),
    password varchar(50),
    age int,
    address varchar(100)
);
kettle-full-push-new-target-connection.png

接下来也是数据库配置的窗口,这里也不多做介绍了,直接新建我们的目标数据库即可。

kettle-full-push-new-target-connection-ui.png

接下来也是与表输入类似,如果mysql可以直接选择目标表,如果oracle先选择模式再选择表

kettle-full-push-choose-target-table.png
kettle-full-push-choose-target-table-ui.png

如图所示:
裁剪表:勾选后表示先执行truncate,在insert
指定数据库字段:勾选后,需要指定匹配的数据库字段,否则默认相同的字段相匹配。这里建议勾选

kettle-full-push-table-output-ui.png
kettle-choose-column-mapping.png
kettle-full-push-table-output-finalui.png
  1. 新建作业
kettle-full-push-job-ui.png
  1. 配置转换组件
kettle-full-push-job-choose-trans.png
  1. 配置start组件
kettle-job-start-entry.png
重复:重复—将此项勾选,表示按下面配置的周期重复

类型:周期类型

*   不需要定时(如果选择不需要定时(前提是选择重复),时间间隔,天,周,月配置都不生效)

*   时间间隔(如果选择时间间隔(前提是选择重复),天,周,月配置不生效)

*   天(如果选择天(前提是选择重复),除了天,其他配置不生效)

*   周(如果选择周(前提是选择重复),除了周,其他配置不生效)

*   月(如果选择月(前提是选择重复),除了月,其他配置不生效)

秒:以秒为时间间隔重复执行作业

分钟:以分钟为时间间隔重复执行作业

天:每天定时执行作业

周:每周定时执行作业

月:每月定时作业

相关文章

  • kettle入门篇(三)-表与表之间的全量推送

    kettle表与表之间的全量ETL 连接资源库(参考入门篇(一)) 新建转换 配置表输入组件 创建源数据库,源表,...

  • mysql数据增量同步

    1. 源表增加时间戳字段 2. 手动全量同步源表到目标表 3. 利用kettle或者其他ETL工具数据抽取 每天抽...

  • flink维表关联系列之维表服务与Flink异步IO

    维表关联系列目录:一、维表服务与Flink异步IO二、Mysql维表关联:全量加载三、Hbase维表关联:LRU策...

  • 多表查询

    基本概念(只有表与表之间有关联,才可以使用|关联字段) 统计emp表、dept表的数据量 笛卡尔积执行select...

  • Kettle说明

    数据过滤转换Kettle 获取远端数据插入表

  • solr系列3——solr数据同步(全量、增量)

    solr 数据同步,全量、增量方式 DIH全量同步(全表数据)(一般做第一次数据同步) 首先创建对应的数据库表 s...

  • kettle 表输入

    在一个数据库进行一次查询 替换变量:允许使用变量 ${} 从步骤插入数据:从前一个步骤获取数据替换SQL中的?号 ...

  • Hive分区的作用

    如果没有分区的存在,那么每次查询Hive将会进行全表扫描。对于小数据量的表来说,全表扫描并不会慢到无法忍受,但是对...

  • Mysql语法(7)— 左外连接妙用(找到A表存在,B表不存在的

    背景:定时任务删除库中一些没有消耗的广告数据。目前是有两张表:A表:某个业务的送审记录表(小表);B表:全量的消耗...

  • mysql-多表之间的关系

    在关系型数据库中,表与表之间的关系是通过主键与外键来体现的。而表与表之间的关系主要有三种:一对一关系,一对多(多对...

网友评论

    本文标题:kettle入门篇(三)-表与表之间的全量推送

    本文链接:https://www.haomeiwen.com/subject/lrushktx.html