美文网首页
kylo使用案例1

kylo使用案例1

作者: 夜空最亮的9星 | 来源:发表于2018-08-10 16:57 被阅读198次

问题:从mysql抽取数据到hive,并对某些字段做字典匹配,去除空格

首先,从nifi目录下找到mariadb的驱动(/opt/nifi/msyql)拷贝到/opt/kylo/lib目录下,重启kylo

第一步 配置数据源

image image

jdbc的url后面不可以跟分号“;”

jdbc的链接:jdbc:mariadb://10.88.88.122:3306/db_kettle

驱动类: org.mariadb.jdbc.Driver

第二版 导入模板

image

然后选择import from a file --> CHOOSE FILE


image

选择好模板压缩包,点击导入模板即可。

模板导入成功后就可以去建一个feed

新建feed

选择左侧标签栏,feed manager 点击Feeds 然后在点击右下角的+号


image image image image image

正则匹配

image

后面的步骤略

image

默认情况下配置好一个feed是立即执行的,点击仪表盘可查看进度
hue结果预览


image

可能遇见的问题


image

解决方案:

在命令行下对db_test1修改用户

给目录/app/warehouse/users/db_test1 读写执行权限并指定给hive用户

hadoop fs -setfacl -m user:hive:rwx /app/warehouse/users/db_test1

相关文章

  • kylo使用案例1

    问题:从mysql抽取数据到hive,并对某些字段做字典匹配,去除空格 首先,从nifi目录下找到mariadb的...

  • kylo集群+nifi集群搭建

    kylo集群搭建教程 kylo文档中 Clustering Kylo 介绍的比较模糊,但是大概步骤都讲到了。 ky...

  • kylo问题

    原文链接 编辑application.properties文件: $ vim /opt/kylo/kylo-ser...

  • kylo问题总结1

    kylo问题总结1 Getting unexpected error in Data Transformation...

  • # kylo安装教程

    kylo安装脚本 脚本使用视频 首先确认安装资源情况如下,根据实际情况配置修改all_config.propert...

  • kylo加密属性值

    kylo encrypting文档 Encrypting Configuration PropertiesBy d...

  • jenkins pipeline

    1、定义 2、案例(不使用jenkinsfile) 3、案例(使用jenkinsfile)

  • 6. Python之循环

    While循环 1 循环的语法与基本使用 小案例: 2 死循环与效率问题 案例1: 案例2: 案例3: 案例4: ...

  • Exchanger的使用

    1 Exchanger使用案例 结果

  • 2019-01-10shell编程之函数

    一、定义函数 二、调用函数 三、案例 案例1 使用函数调取菜单页面 案例2使用函数算阶层 案例4 位置参数 四、影...

网友评论

      本文标题:kylo使用案例1

      本文链接:https://www.haomeiwen.com/subject/camkbftx.html