美文网首页
从数据库和本地上传数据到集群

从数据库和本地上传数据到集群

作者: 独倚危栏君 | 来源:发表于2018-08-15 14:18 被阅读0次

    所需工具

    kettle,搭建好的集群

    连接集群

    首先,先将记事本以管理员身份打开
    C:\Windows\System32\drivers\etc\hosts
    添加集群的IP地址和集群名称

    登陆集群下载配置依赖

    下载YARN,HIVE,HDFS,HBASE的配置依赖
    将yarn中的yarn-site.xml,mapre-site和hive的hive-site.xml和hdfs的hdfs-site.xml,core-site.xml以及hbase的hbase-site.xml复制到
    kettle\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510中

    在kettle的工具/hadoop distribute中选择cloudera CDH 5.10

    重启kettle,在hadoop clusters新建 写入hostname,用户名和密码不填,进行测试

    如果测试链接有错误,需要进行调试

    1.集群上没有自己的用户
    查看自己电脑用户名(win+r cmd) 在集群新建hadoop fs -mkdir /user/用户名

    相关文章

      网友评论

          本文标题:从数据库和本地上传数据到集群

          本文链接:https://www.haomeiwen.com/subject/mhvxvftx.html