美文网首页
Flume系列4-Flume拓扑结构

Flume系列4-Flume拓扑结构

作者: 只是甲 | 来源:发表于2021-12-25 09:39 被阅读0次

一. 简单串联

image.png

  这种模式是将多个 flume 顺序连接起来了,从最初的 source 开始到最终 sink 传送的目的存储系统。此模式不建议桥接过多的 flume 数量, flume 数量过多不仅会影响传输速率,而且一旦传输过程中某个节点 flume 宕机,会影响整个传输系统。

二. 复制和多路复用

image.png

  Flume 支持将事件流向一个或者多个目的地。这种模式可以将相同数据复制到多个channel 中,或者将不同数据分发到不同的 channel 中,sink 可以选择传送到不同的目的地。

三. 负载均衡和故障转移

image.png

  Flume 支持使用将多个sink 逻辑上分到一个sink 组,sink 组配合不同的SinkProcessor可以实现负载均衡和错误恢复的功能。

四. 聚合

image.png

  这种模式是我们最常见的,也非常实用,日常 web 应用通常分布在上百个服务器,大者甚至上千个、上万个服务器。产生的日志,处理起来也非常麻烦。用 flume 的这种组合方式能很好的解决这一问题,每台服务器部署一个 flume 采集日志,传送到一个集中收集日志的flume,再由此 flume 上传到 hdfs、hive、hbase 等,进行日志分析。

相关文章

  • Flume系列4-Flume拓扑结构

    一. 简单串联   这种模式是将多个 flume 顺序连接起来了,从最初的 source 开始到最终 sink 传...

  • Flume(五)Flume拓扑结构

    简单拓扑结构 这种模式是将多个flume顺序连接起来了,从最初的source开始到最终sink传送的目的存储系统。...

  • 【2019-05-29】Flume

    设计flume的宗旨是向Hadoop批量导入基于事件的流量海报。Flume由一组以分布式拓扑结构相互连接的代理构成...

  • 拓扑结构

    本次项目拓扑 拓扑图图解: 两台网站服务器:web33 web44 读写分离结构存储数据maxscale77 主从...

  • 使用docker搭建redis主从复制、哨兵机制

    1. 拓扑结构 本文搭建如下图所示的redis拓扑结构,拓扑中共有3个哨兵,1和mater结点和2个slave结点...

  • 通过Docker部署Ceph开源分布式存储系统

    拓扑结构: ------------- ------------- ------------- | G...

  • 网络拓扑结构总结

    一.星型拓扑结构 星型拓扑结构是目前应用最广、实用性最好的一种拓扑结构,这主要是因为它非常容易实现网络的拓展。星型...

  • 计算机网络基础知识(二)

    网络拓扑 [TOC] 什么是拓扑? 拓扑定义了所有组件如何相互连接的网络结构。拓扑有两种类型:物理和逻辑拓扑。 物...

  • 小白学计网的必备常识

    1.计网研究的是最原始的祖传网络拓扑结构,这一结构和我们熟悉的运营商网络拓扑结构以及家庭无线路由器组网的网络拓扑结...

  • 拓扑图的网络脆弱性分析

    一、什么是网络拓扑? 计算机连接的方式叫做“网络拓扑结构”(Topology)。网络拓扑是指用传输媒体互连各种设备...

网友评论

      本文标题:Flume系列4-Flume拓扑结构

      本文链接:https://www.haomeiwen.com/subject/ebosxrtx.html