美文网首页
Nifi集群搭建

Nifi集群搭建

作者: puroc | 来源:发表于2016-12-13 14:37 被阅读0次
    6F5BC5E6-67C1-46FF-B06A-01AE33A48ED2.png

    Nifi支持水平扩展,每个节点都执行相同的任务,但每个节点处理的数据是不同的。Zookeeper会从集群中选择一个coordinator(管理者),并由zookeeper负责failover。
    当有新的节点要加入集群时,他需要与coordinator建立连接,如果coordinator允许该节点加入集群,则会向该节点提供最新的流程信息。如果节点上的流程信息版本与coordinator不一致,则不允许他加入集群。
    集群中所有的节点向coordinator发送心跳(默认5秒一次),如果指定时间内(默认40秒)没有收到节点的心跳,该节点将被退出集群(coordinator主动与该节点断开连接)。如果40秒后再次收到该节点的心跳,则coordinator会重新邀请该节点加入集群,并对其进行验证和同步流程。
    另外zookeeper还会选择一个Primary node来运行一些不适合在多个节点同时运行的processor(如GetSftp,多个sftp客户端同时运行时,将产生资源竞争),当Primary node节点由于某些原因与集群断开连接时,zookeeper会重新票选出一个新的Primary node。
    用户可以进入任何一个node的ui界面进行编辑,任何流程的修改,将在集群内部进行同步。

    下载、解压

    官网下载

    修改配置文件(conf/nifi.properties)

    #节点UI监听端口
    nifi.web.http.port=8080
    #节点是否采用集群模式,true集群模式,默认为false
    nifi.cluster.is.node=true
    #节点的IP地址
    nifi.cluster.node.address=172.16.114.207
    #节点用于集群通信的端口
    nifi.cluster.node.protocol.port=9999
    #连接zookeeper的地址
    nifi.zookeeper.connect.string=docker-1:2181
    

    启动集群

    分别在每个节点执行bin/nifi.sh start

    相关文章

      网友评论

          本文标题:Nifi集群搭建

          本文链接:https://www.haomeiwen.com/subject/rgfbmttx.html