美文网首页数据仓库
【ETL】系列三:Kettle Spoon数据库连接

【ETL】系列三:Kettle Spoon数据库连接

作者: 不爱吃药的小白鼠 | 来源:发表于2019-12-25 18:18 被阅读0次

    这节主要说Kettle的数据库连接方式和常见问题的解决方案。

    你可能会问,数据库连接有什么好说的?一看就会呀,为什么作为产品经理,需要将数据库连接作为一节单独说?

    因为回忆起来也都是泪啊!!!!!!

    都是泪

    说正经的,对于产品来说,Kettle的数据库连接方式还是有很多的借鉴意义的。

    价值一:科普价值,不要被开发鄙视到尘埃里

    你系统地知道有哪些类型的数据库么?你知道有几种数据库的连接方式么?你知道不同数据库类型的连接参数有哪些么?你知道如何更好地进行数据源管理么?

    坦白说,在做TO C产品时,距离数据库比较远,自己也没有怎么实操过连接数据库去查看数据;在转到TO B产品时,每天都和数据打交道,数据库相关的知识不可缺少。

    而kettle作为工具集,可以管理不同数据库的数据,以上的疑问,你都可以获得答案。

    价值二:专业价值,为TO B 产品的数据库模块产品设计方式提供参考

    数据处理工具,经常涉及到数据库管理,其中,数据库的添加/编辑/测试是基础功能,一般也有通用的设计规范。作为产品经理来说,kettle的设计也是值得借鉴的。

    价值三:应用价值,熟练使用Kettle数据库连接方式提升工作效率

    工具主要是提升效率,在工具类产品产品经理的日常工作中,还需要对业务方进行产品的培训,使用Kettle工具更高效地进行操作,是工具使用业务方需要掌握的,也是产品需要同步到位的。

    言归正传,下文将介绍从Kettle Spoon客户端的数据库连接方式、关于全局数据源和局部数据源、可能出现的问题和解决方案等模块进行介绍。

    一、Kettle Spoon客户端的数据库连接方式

    打开Kettle Spoon,可以在【文件】-【数据库连接】、【DB连接】等入口进行数据库的连接。    

    数据库连接入口示例1 数据库连接入口示例2

    在数据库连接界面,我们可以看到创建数据源时需要配置相应的参数,这块主要根据数据库类型进行相应的配置。可是有2种方式来获取数据库。

    方式一:数据库表连接信息固定值输入

    一般情况下,会选择【一般】,输入【连接名称】,选择【连接类型】如MySQL,连接方式默认为【Native(JDBC)】,不同的连接类型需要配置的具体参数略有不同。

    数据库连接界面

    填写好数据库连接信息后,点击”测试”按钮,进行数据库连接的验证。

    数据库连接测试成功

    方式二:数据库表连接信息变量值选择

    kettle中如果输入框末尾出现$符号标识说明此处可以使用变量参数来定义,数据库连接的主机名称、数据库名称、端口号、用户名、密码等配置信息即可选择变量值。

    变量值的选择需要进行如下步骤:

    1、在安装目录下找到“.kettle”文件夹,找到kettle.properties文件;

    Kettle.properties文件

    2、使用编辑器打开kettle.properties文件,在文件底部添加新的数据库连接信息后保存文件。

    变量信息示例:

    kettle_mysql_host=10.11.255.60

    kettle_mysql_port=63306

    kettle_mysql_database=kett***

    kettle_mysql_username=root

    kettle_mysql_password=Encrypted************09409fe62d2b38cff

    说明:

    等号“=”左侧为变量名称,右侧为变量值。变量名称需要与已有的数据库连接中变量名称不同。

    Kettle.properties文件中数据库表变量信息示例

    除了在“.kettle”文件夹下找到kettle.properties文件进行编辑之外,还可以在Spoon 的【编辑】-【编辑kettle.properties】进行编辑。

    Kettle Spoon客户端编辑入口 编辑kettle.properties数据库表变量信息示例

    注意:对于ETL运行过程中,数据库也是分环境的,可以根据不同的数据库环境下的连接信息,kettle.properties保存多份连接信息,方便切换环境进行数据库连接。

    3、进入数据库连接界面,在输入框中添加存在于kettle.properties文件的变量名。

    变量名必须事先在kettle.properties文件定义,可以通过以下2个操作来添加。

    •   变量名输入,注意输入格式为“${变量名}”

    •   变量名选择,使用CTRL-ALT-SPACE选择一个变量

    选择变量的快捷键 选择变量名

    4、填写好数据库连接信息后,点击”测试”按钮,进行数据库连接的验证。

    数据库连接测试成功

    二、关于全局数据源和局部数据源

    Kettle中对于数据源有作用域的定义,也就是说有局部数据源和全局数据源两种。

     从上文可以看到,在kettle.properties文件中定义好的数据库信息,可以作为全局数据源来使用,在后续的转化脚本和工作脚本可以使用数据库信息。

    关于变量的配置,有2种,一种是永久性,一种是临时性,永久性是存在于用户名称下面的.kettle文件夹中的kettle.properties文件,适用于所有的转化文件和工作文件。

    临时性的变量配置是属于某个配置的转换文件或工作文件。

    设置环境变量入口

    点开后可以进行环境变量配置,如下图。

    设置环境变量

    另外,数据库配置成功后默认情况下数据源作用域为局部数据源,也可以通过右击【DB连接】中的数据库名称进行【共享】操作,将该数据源变更为全局数据源。

    共享数据源界面

    那如何查看数据源是否为全局数据?

    有两种方式,一种是直接打开转化脚本或者作业脚本查看数据源,黑色粗体字为已共享的全局数据源;

    另一种是直接打开当前用户下.kettle文件夹中的shared.xml文件是否有对应的数据源名称,如果有则表示是全局数据源名称。

    .kettle文件夹中的 shared.xml文件

    三、数据库连接的可能出现的问题和解决方案

    显示测试连接参数信息,如果连接错误则会显示JAVA连接错误信息,一般连接错误会是以下几种情况:

    问题一:  缺少数据库驱动包

    解决方案可以参考:Kettle连接MySQL数据库出现问题,连接不上

    问题二:数据库无法正常访问

    解决方案:检查数据库是否正常访问,正常访问后重试

    问题三: 数据库连接参数配置错误

    解决方案:检查数据库连接参数,注意空格等,密码不要直接快捷键粘贴,而是右键粘贴等

    以上几种情况仅供参考。

    四、kettle.properties变量未生效的原因

    kettle.properties文件中的数据库变量名在界面上未出现,可能有如下几种情况:

    问题一、.kettle文件夹中的kettle.properties文件不在C盘用户文件夹下,导致未读取到kettle.properties

    解决方案:将.kettle文件夹复制一份到【C盘】-【用户】文件夹下

    问题二:Spoon客户端开启中,没有获取到最新的kettle.properties信息

    解决方案:重启spoon后,再打开。

    以上是Kettle Spoon数据库连接的分享,虽然数据库连接不是很难,网上的教程也比较多,但是在实际操作过程中,还是会遇到问题,以上分享算是最新的总结吧,希望可以给你帮助。

    参考文件:

    1.【Kettle从零开始】第三弹之Kettle数据源连接配置

    2.kettle环境变量的配置问题

    3.[2019 ETL ] Kettle 8.2 怎么连数据库资源库

    相关文章

      网友评论

        本文标题:【ETL】系列三:Kettle Spoon数据库连接

        本文链接:https://www.haomeiwen.com/subject/kfgmnctx.html