美文网首页
07 flume多路复制

07 flume多路复制

作者: 张力的程序园 | 来源:发表于2020-06-22 21:40 被阅读0次

本小节将展示flume的多路复制。所谓多路复制,是指数据来自一个source,通过两个channel,进入到两个sink。

1、前提约束

  • 有三台服务器[虚拟机也可以],假设这三台服务器的ip、域名分别为:
    192.168.100.141 hadoop1
    192.168.100.142 hadoop2
    192.168.100.143 hadoop3
    且已经设置免密登录和关闭防火墙,且已安装jdk并配置环境变量
  • 已经安装flume服务器
    https://www.jianshu.com/p/3e4f7db8080f
    假设该flume服务是安装在192.168.100.141服务器的/root路径下,且已关闭

2、操作步骤

  • 执行以下命令
# 在141中执行,拷贝141中的flume文件夹到142
scp -r /root/apache-flume-1.8.0-bin root@hadoop2:/root
# 在141中执行,拷贝141中的flume文件夹到143
scp -r /root/apache-flume-1.8.0-bin root@hadoop3:/root
  • 修改141中的/root/apache-flume-1.8.0-bin/flume-conf.properties

# 定义一个服务名称为a1,source,channel,sink分别为r1, c1, k1
a1.sources = r1
a1.channels = c1 c2
a1.sinks = k1 k2
a1.sources.r1.selector.type = replicating 
# r1监听8888端口的网络状态
a1.sources.r1.type = netcat
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 8888
# sink 端的 avro 是一个数据发送者 
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop2
a1.sinks.k1.port = 4141 

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop3 
a1.sinks.k2.port = 4141 

# Describe the channel 
a1.channels.c1.type = memory 
a1.channels.c1.capacity = 1000 
a1.channels.c1.transactionCapacity = 100 

a1.channels.c2.type = memory 
a1.channels.c2.capacity = 1000 
a1.channels.c2.transactionCapacity = 100 

# Bind the source and sink to the channel 
a1.sources.r1.channels = c1 c2 
a1.sinks.k1.channel = c1 
a1.sinks.k2.channel = c2 
  • 修改142中的/root/apache-flume-1.8.0-bin/flume-conf.properties
# 定义一个服务名称为a1,source,channel,sink分别为r1, c1, k1
a1.sources = r1
a1.channels = c1
a1.sinks = k1
a1.sources.r1.type = avro
a1.sources.r1.bind = hadoop2
a1.sources.r1.port = 4141 
# k1的输入时日志形式
a1.sinks.k1.type = logger
# c1类型为内存
a1.channels.c1.type = memory
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  • 修改143中的/root/apache-flume-1.8.0-bin/flume-conf.properties
# 定义一个服务名称为a1,source,channel,sink分别为r1, c1, k1
a1.sources = r1
a1.channels = c1
a1.sinks = k1
a1.sources.r1.type = avro
a1.sources.r1.bind = hadoop3
a1.sources.r1.port = 4141 
# k1的输入时日志形式
a1.sinks.k1.type = logger
# c1类型为内存
a1.channels.c1.type = memory
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  • 分别启动141、142、143中的flume服务
# 在141中执行以下语句
cd /root/apache-flume-1.8.0-bin
./flume-ng agent -c ../conf -f ../conf/flume-conf-avro.properties  -n a1
# 在142中执行以下语句
cd /root/apache-flume-1.8.0-bin
./flume-ng agent -c ../conf -f ../conf/flume-conf-avro.properties  -n a1
# 在143中执行以下语句
cd /root/apache-flume-1.8.0-bin
./flume-ng agent -c ../conf -f ../conf/flume-conf-avro.properties  -n a1
  • 测试
    在win10中通过访问telnet去写入141中的8888端口,则在142、143的flume日志中能看到刚才写入的数据。
    以上就是flume的多路复制。

相关文章

  • 07 flume多路复制

    本小节将展示flume的多路复制。所谓多路复制,是指数据来自一个source,通过两个channel,进入到两个s...

  • Linux安装flume并实现监控文件

    flume的安装 1.找到flume的安装包并复制到/usr目录下 sudo cp flume-ng-1.6.0-...

  • Flume-1.8.0(六)Selector

    Selector 概念 选择器可以工作在复制、多路复用(路由)模式,selector 默认是复制模式(replic...

  • flume复制并分流实现

    今天接到客户是咨询,要对现有的数据进行分流,虽然感觉flume实现没问题,但是心里总不踏实,要是出什么幺蛾子就打脸...

  • Flume01

    Flume架构组成 Flume 负载均衡 Flume Agent内部原理 启动 Flume 监听

  • Flume

    总结 一、Flume的定义 1、flume的优势 2、flume的组成 3、flume的架构 二、 flume部署...

  • 玩转大数据计算之Flume

    Flume版本:我们使用Flume最新的版本:Flume NG 1.7.0 Flume架构Flume是一个分布式的...

  • Flume 入门

    一:Flume是什么: 二:特点: 三:Flume版本介绍 四:Flume NG基本架构 五:Flume NG核心...

  • flume的部署和测试

    1 flume 安装 flume下载:http://flume.apache.org/download.htmlf...

  • 091-BigData-19Flume与Flume之间数据传递

    上一篇:090-BigData-18Flume Flume与Flume之间数据传递 一、单Flume多Channe...

网友评论

      本文标题:07 flume多路复制

      本文链接:https://www.haomeiwen.com/subject/vsuffktx.html