美文网首页
Flume安装部署

Flume安装部署

作者: 扣篮的左手 | 来源:发表于2018-09-10 00:53 被阅读0次

安装配置

下载安装包,解压,不再赘述。
我这里解压到/export/servers目录下

进入到conf目录下,然后重命名flume-env.sh.templateflume-env.sh:

然后编辑flume-env.sh:
首先是指定JAVA_HOME,注意JAVA_HOME不包括后边的/bin/java
整个Flume的安装配置文件就这一个。

采集方案配置

例:采集端口数据:
source端采集端口数据,sink端输出到终端logger
以source端和sink端数据类型命名,source-sink.conf
conf目录下创建netcat-logger.conf:

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动agent

运行bin目录下的flume-ng help查看帮助

在Flume的目录下运行命令:
bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console
从帮助中可以看到--conf参数可以用-c代替,这个参数指定flume自身的配置文件所在目录;--conf-file可以用-f代替,指定描述采集方案的配置文件;--name可以用-n代替,指定agent的名字


启动telnet向本机指定端口发送数据测试,如果没有安装telnet,可以使用yum -y install telnet安装(yum -y erase telnet删除)。
Ctrl+]退出
可以看到收到了数据

相关文章

  • 4.Flume1.9安装

    1 Flume安装部署 1.1 安装地址 (1) Flume官网地址:http://flume.apache.or...

  • Flume系列2-Flume 入门

    一. Flume 安装部署 安装地址: Flume 官网地址:http://flume.apache.org/[h...

  • 【Flume采集日志】

    Flume安装部署 安装地址 (1)Flume官网地址:http://flume.apache.org/[http...

  • Flume(二)快速入门

    Flume安装部署 安装地址 Flume官网[http://flume.apache.org/] 文档查看地址[h...

  • Flume6:Flume日志采集实战

    1.采集架构 2.Flume安装 可参考前面的文章:Flume的安装部署https://www.jianshu.c...

  • 大数据开发环境搭建之Flume安装部署

    Flume安装部署 Flume下载地址 1、将apache-flume-1.7.0-bin.tar.gz上传到big...

  • Flume安装部署

    安装配置 下载安装包,解压,不再赘述。我这里解压到/export/servers目录下 采集方案配置 例:采集端口...

  • Flume

    总结 一、Flume的定义 1、flume的优势 2、flume的组成 3、flume的架构 二、 flume部署...

  • flume1.70 安装部署

    环境 安装部署 将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/jars目...

  • flume集成kafka

    一、安装flume 请参考:flume安装 二、安装kafka 请参考:kafka安装 三、flume发送数据到k...

网友评论

      本文标题:Flume安装部署

      本文链接:https://www.haomeiwen.com/subject/avirgftx.html