flume(2)

作者: 大飞飞_s8 | 来源:发表于2019-08-25 22:48 被阅读0次

1、扇出(fan out)指的是从一个source向多个channel,即向多个sink传递时间。

2、交付保证

2.1、flume使用独立的事务来负责从spooling directory 到每一个channel的每批事件的传递。source到channel,channel到sink,任何一个事务失败,数据都不会从source删除,而是等待稍后重试

2.2、停止失败重试可以设置channel为optional

3、复制和复用选择器 可以实现某些事件发送到一个channel,另一些事件发送到另一个channel。source上设置一个复用器实现

4、要想实现flume事件汇聚,就需要使用分层结构的flume代理,第一层代理负责采集来自原始source的事件,并将它们发送到第二层。第二层代理的数量比第一层少,这些代理先汇总来自第一层和代理事件,再把这些事件写入sink

4.1、需要用到特殊的sink在网络之间发送事件,再加上source来接收这些事件,avro sink thrift sink

5、sink组允许将多个sink当作一个sink来处理,以实现故障转移或者负责均衡,某个第二层代理不可用,将会传递给另外一个第二层代理

5.1、处理器类型设置为load_balance,它视图在两个sink循环分发事件,可以通过皮肉车身搜人 selector属性来改变此设置,如果某个sink不可用,尝试下一个,两个都不可用,和单个情况一样,所以每一批被传递的事件,都会重试故障sink,可以设置processor.backoff属性来改变,列入sink黑名单,周期通过processor.selector.maxTimeOut来控制

6、flume与应用程序集成

相关文章

  • Flume

    总结 一、Flume的定义 1、flume的优势 2、flume的组成 3、flume的架构 二、 flume部署...

  • 尚硅谷大数据技术之Flume

    第2章 快速入门 2.1 Flume安装地址 1) Flume官网地址 http://flume.apache....

  • 尚硅谷大数据技术之Flume

    4.执行配置文件分别开启对应配置文件:flume3-flume-logger.conf,flume2-netcat...

  • flume(2)

    1、扇出(fan out)指的是从一个source向多个channel,即向多个sink传递时间。 2、交付保证 ...

  • flume初次體驗

    一.flume安裝及配置 安裝flume上传解压 2.修改配置文件 3.修改flume.conf文件 修改內容 啓...

  • Flume5:Flume官网学习及案例

    Flume官网:http://flume.apache.org/ 1.安装 1、上传2、解压3、修改conf/fl...

  • Spark Streaming:高级数据源

    目录一.Spark Streaming接收Flume数据1.基于Flume的Push模式2.基于Custom Si...

  • Flume01

    Flume架构组成 Flume 负载均衡 Flume Agent内部原理 启动 Flume 监听

  • 玩转大数据计算之Flume

    Flume版本:我们使用Flume最新的版本:Flume NG 1.7.0 Flume架构Flume是一个分布式的...

  • Flume6:Flume日志采集实战

    1.采集架构 2.Flume安装 可参考前面的文章:Flume的安装部署https://www.jianshu.c...

网友评论

      本文标题:flume(2)

      本文链接:https://www.haomeiwen.com/subject/rsflectx.html