美文网首页数据同步
StreamSets安装配置

StreamSets安装配置

作者: 龟龟51 | 来源:发表于2018-08-23 19:53 被阅读0次

    1.1.安装前准备

    到StreamSets官网提供的下载址:https://archives.streamsets.com/index.html

    下载以下文件:这里下载使用的是 3.0版本

    1.manifest.json 文件

    2.STREAMSETS_DATACOLLECTOR-3.0.0.0-el7.parcel文件(比较大约4G左右,包含比较完整的插件)

    3.STREAMSETS-3.0.0.0.jar

    1.2.配置本地Parcel包

    将下载的manifest.json和 STREAMSETS_DATACOLLECTOR-3.0.0.0-el7.parcel,放在一个新建文件夹StreamSets3.0中,并移动到/var/www/html 目录中,做离线包的下载地址,用浏览器访问如下,表示成功

    1.3.配置CSD

    将STREAMSETS-3.0.0.0.jar拷贝到/opt/cloudera/csd,并更改权限,然后重启cloudera-scm-server服务

    [root@cdh4 ~]# cp STREAMSETS-3.0.0.0.jar /opt/cloudera/csd

    [root@cdh4 csd]# sudo chown cloudera-scm:cloudera-scm STREAMSETS-3.0.0.0.jar && sudo chmod 644 STREAMSETS-3.0.0.0.jar

    [root@cdh4 ~]# systemctl restart cloudera-scm-server

    1.4.下载分发激活Parcel包

    在CM界面中点击Parcel > 配置 > 添加StreamSets的Parcel包路径,并保持修改

    并下载分发和激活(本文档省略该步骤,直接查看激活后的状态)

    1.5.添加StreamSets服务

    完成上述步骤后,在集群 > 添加服务 中添加StreamSets 的服务

    选择StreamSets安装

    选择一个DataCollector 节点,默认配置,继续等待安装和启动完成

    1.6重启

    安装完成之后,配置发生更改需要重启一下集群。

    1.7安装成功

    在集群界面可以看到

    1.8StreamSets登录

    点击 StreamSets > Data Collector WebUI访问

    相关文章

      网友评论

        本文标题:StreamSets安装配置

        本文链接:https://www.haomeiwen.com/subject/qwnmiftx.html