美文网首页
Flume实现A的数据向B传输

Flume实现A的数据向B传输

作者: 匪_3f3e | 来源:发表于2018-10-29 11:21 被阅读0次

概述

效果示意图

exec source + memory + avro sink
avro source + memory + logger sink

配置文件

用一台机器模拟两台机器
exec-memory-avro.conf


exec-memory-avro.sources = exec-source
exec-memory-avro.sinks = avro-sink
exec-memory-avro.channels = memory-channel


exec-memory-avro.sources.exec-source.type = exec
exec-memory-avro.sources.exec-source.command = tail -f /Users/david/Cores/apache-flume-1.6.0-cdh5.7.0-bin/conf/data.log
exec-memory-avro.sources.exec-source.shell = /bin/sh -c

exec-memory-avro.sinks.avro-sink.type = avro
exec-memory-avro.sinks.avro-sink.hostname = localhost
exec-memory-avro.sinks.avro-sink.port = 44444

exec-memory-avro.channels.memory-channel.type = memory

exec-memory-avro.sources.exec-source.channels = memory-channel
exec-memory-avro.sinks.avro-sink.channel = memory-channel

avro-memory-logger.conf

avro-memory-logger.sources = avro-source
avro-memory-logger.sinks = logger-sink
avro-memory-logger.channels = memory-channel

avro-memory-logger.sources.avro-source.type = avro
avro-memory-logger.sources.avro-source.bind = localhost
avro-memory-logger.sources.avro-source.port = 44444

avro-memory-logger.sinks.logger-sink.type = logger

avro-memory-logger.channels.memory-channel.type = memory

avro-memory-logger.sources.avro-source.channels = memory-channel
avro-memory-logger.sinks.logger-sink.channel = memory-channel

启动flume

先启动avro-memory-logger agent(先监听端口)

flume-ng agent \
--name avro-memory-logger \
--conf $FLUME_HOME/conf \
--conf-file $FLUME_HOME/conf/avro-memory-logger.conf \
-Dflume.root.logger=INFO,console

再启动 exec-memory-avro agent

flume-ng agent \
--name exec-memory-avro \
--conf $FLUME_HOME/conf \
--conf-file $FLUME_HOME/conf/exec-memory-avro.conf \
-Dflume.root.logger=INFO,console

测试

echo hello >> data.log

查看flume的日志输出

相关文章

  • Flume实现A的数据向B传输

    概述 exec source + memory + avro sinkavro source + memory ...

  • 项目技术选型

    数据采集传输 FLUME,DATAHUB,RDS FLUME,KAFKA,SQOOP,DATAX 数据存储 MAX...

  • Flume | Flume NG架构

    flume ng架构 event event是flume数据传输的基本单元flume以事件的形式将数据从源头传送到...

  • flume修改创建event的方式

    我们都知道,使用flume收集数据,flume内部数据传输都是以event为基本单位进行传输的,他会把收集的数据划...

  • 日志收集系统Flume笔记(1)

    1.Flume是啥? Flume是一种分布式,大数据日志收集系统。可以定制数据源、数据终点、数据传输通道,过程中可...

  • flume机制原理

    what's flume? flume 是系统, 是高可用的,高可靠的,分布式的海量数据日志采集,聚合和传输的系统...

  • Flink简介

    第一章 初识Flink 大数据开发总体架构 数据传输层:常用的数据传输工具有Flume、Sqoop、Kafka。F...

  • 数据传输事务分析

    本文基于ThriftSource,MemoryChannel,HdfsSink三个组件,对Flume数据传输的事务...

  • Flume事务详解

    本文基于AvroSource,MemoryChannel,HDFSSink三个组件,对Flume数据传输的事务进行...

  • 尚硅谷大数据技术之Flume

    第7章 企业真实面试题(重点)7.1 你是如何实现Flume数据传输的监控的使用第三方框架Ganglia实时监控F...

网友评论

      本文标题:Flume实现A的数据向B传输

      本文链接:https://www.haomeiwen.com/subject/xxnvtqtx.html