这节主要说Kettle的数据库连接方式和常见问题的解决方案。
你可能会问,数据库连接有什么好说的?一看就会呀,为什么作为产品经理,需要将数据库连接作为一节单独说?
因为回忆起来也都是泪啊!!!!!!
都是泪说正经的,对于产品来说,Kettle的数据库连接方式还是有很多的借鉴意义的。
价值一:科普价值,不要被开发鄙视到尘埃里
你系统地知道有哪些类型的数据库么?你知道有几种数据库的连接方式么?你知道不同数据库类型的连接参数有哪些么?你知道如何更好地进行数据源管理么?
坦白说,在做TO C产品时,距离数据库比较远,自己也没有怎么实操过连接数据库去查看数据;在转到TO B产品时,每天都和数据打交道,数据库相关的知识不可缺少。
而kettle作为工具集,可以管理不同数据库的数据,以上的疑问,你都可以获得答案。
价值二:专业价值,为TO B 产品的数据库模块产品设计方式提供参考
数据处理工具,经常涉及到数据库管理,其中,数据库的添加/编辑/测试是基础功能,一般也有通用的设计规范。作为产品经理来说,kettle的设计也是值得借鉴的。
价值三:应用价值,熟练使用Kettle数据库连接方式提升工作效率
工具主要是提升效率,在工具类产品产品经理的日常工作中,还需要对业务方进行产品的培训,使用Kettle工具更高效地进行操作,是工具使用业务方需要掌握的,也是产品需要同步到位的。
言归正传,下文将介绍从Kettle Spoon客户端的数据库连接方式、关于全局数据源和局部数据源、可能出现的问题和解决方案等模块进行介绍。
一、Kettle Spoon客户端的数据库连接方式
打开Kettle Spoon,可以在【文件】-【数据库连接】、【DB连接】等入口进行数据库的连接。
数据库连接入口示例1 数据库连接入口示例2在数据库连接界面,我们可以看到创建数据源时需要配置相应的参数,这块主要根据数据库类型进行相应的配置。可是有2种方式来获取数据库。
方式一:数据库表连接信息固定值输入
一般情况下,会选择【一般】,输入【连接名称】,选择【连接类型】如MySQL,连接方式默认为【Native(JDBC)】,不同的连接类型需要配置的具体参数略有不同。
数据库连接界面填写好数据库连接信息后,点击”测试”按钮,进行数据库连接的验证。
数据库连接测试成功方式二:数据库表连接信息变量值选择
kettle中如果输入框末尾出现$符号标识说明此处可以使用变量参数来定义,数据库连接的主机名称、数据库名称、端口号、用户名、密码等配置信息即可选择变量值。
变量值的选择需要进行如下步骤:
1、在安装目录下找到“.kettle”文件夹,找到kettle.properties文件;
Kettle.properties文件2、使用编辑器打开kettle.properties文件,在文件底部添加新的数据库连接信息后保存文件。
变量信息示例:
kettle_mysql_host=10.11.255.60
kettle_mysql_port=63306
kettle_mysql_database=kett***
kettle_mysql_username=root
kettle_mysql_password=Encrypted************09409fe62d2b38cff
说明:
等号“=”左侧为变量名称,右侧为变量值。变量名称需要与已有的数据库连接中变量名称不同。
Kettle.properties文件中数据库表变量信息示例除了在“.kettle”文件夹下找到kettle.properties文件进行编辑之外,还可以在Spoon 的【编辑】-【编辑kettle.properties】进行编辑。
Kettle Spoon客户端编辑入口 编辑kettle.properties数据库表变量信息示例注意:对于ETL运行过程中,数据库也是分环境的,可以根据不同的数据库环境下的连接信息,kettle.properties保存多份连接信息,方便切换环境进行数据库连接。
3、进入数据库连接界面,在输入框中添加存在于kettle.properties文件的变量名。
变量名必须事先在kettle.properties文件定义,可以通过以下2个操作来添加。
• 变量名输入,注意输入格式为“${变量名}”
• 变量名选择,使用CTRL-ALT-SPACE选择一个变量
选择变量的快捷键 选择变量名4、填写好数据库连接信息后,点击”测试”按钮,进行数据库连接的验证。
数据库连接测试成功二、关于全局数据源和局部数据源
Kettle中对于数据源有作用域的定义,也就是说有局部数据源和全局数据源两种。
从上文可以看到,在kettle.properties文件中定义好的数据库信息,可以作为全局数据源来使用,在后续的转化脚本和工作脚本可以使用数据库信息。
关于变量的配置,有2种,一种是永久性,一种是临时性,永久性是存在于用户名称下面的.kettle文件夹中的kettle.properties文件,适用于所有的转化文件和工作文件。
临时性的变量配置是属于某个配置的转换文件或工作文件。
设置环境变量入口点开后可以进行环境变量配置,如下图。
设置环境变量另外,数据库配置成功后默认情况下数据源作用域为局部数据源,也可以通过右击【DB连接】中的数据库名称进行【共享】操作,将该数据源变更为全局数据源。
共享数据源界面那如何查看数据源是否为全局数据?
有两种方式,一种是直接打开转化脚本或者作业脚本查看数据源,黑色粗体字为已共享的全局数据源;
另一种是直接打开当前用户下.kettle文件夹中的shared.xml文件是否有对应的数据源名称,如果有则表示是全局数据源名称。
.kettle文件夹中的 shared.xml文件三、数据库连接的可能出现的问题和解决方案
显示测试连接参数信息,如果连接错误则会显示JAVA连接错误信息,一般连接错误会是以下几种情况:
问题一: 缺少数据库驱动包
解决方案可以参考:Kettle连接MySQL数据库出现问题,连接不上
问题二:数据库无法正常访问
解决方案:检查数据库是否正常访问,正常访问后重试
问题三: 数据库连接参数配置错误
解决方案:检查数据库连接参数,注意空格等,密码不要直接快捷键粘贴,而是右键粘贴等
以上几种情况仅供参考。
四、kettle.properties变量未生效的原因
kettle.properties文件中的数据库变量名在界面上未出现,可能有如下几种情况:
问题一、.kettle文件夹中的kettle.properties文件不在C盘用户文件夹下,导致未读取到kettle.properties
解决方案:将.kettle文件夹复制一份到【C盘】-【用户】文件夹下
问题二:Spoon客户端开启中,没有获取到最新的kettle.properties信息
解决方案:重启spoon后,再打开。
以上是Kettle Spoon数据库连接的分享,虽然数据库连接不是很难,网上的教程也比较多,但是在实际操作过程中,还是会遇到问题,以上分享算是最新的总结吧,希望可以给你帮助。
参考文件:
网友评论