Flume | 绪

作者: icebreakeros | 来源:发表于2019-07-05 11:24 被阅读0次

Cloudera公司开源
分布式、可靠、高可用的海量日志采集系统
数据源可定制,可扩展
数据存储系统可定制,可扩展
中间件:屏蔽了数据源和数据存储系统的异构性

flume og/flume ng
flume og:original generation 0.9.x
flume ng:next/new generation 1.x

flume og架构

flume og架构

flume使用两个组件:masternode

facebook的scribe

  • scribe agent
  • scribe
  • 存储系统
scribe架构

apache的chukwa

特点是专门支持hadoop集群日志分析

架构

  • Adaptor数据源
  • HDFS存储系统
  • CollectorAgent
  • Demuxachieving
chukwa架构

linkedIn的kafka

特点是适合异构机群

架构

  • Producer
  • Broker
  • Consumer
kafka架构

相关文章

  • Flume | 绪

    绪 由Cloudera公司开源分布式、可靠、高可用的海量日志采集系统数据源可定制,可扩展数据存储系统可定制,可扩展...

  • Flume01

    Flume架构组成 Flume 负载均衡 Flume Agent内部原理 启动 Flume 监听

  • Flume

    总结 一、Flume的定义 1、flume的优势 2、flume的组成 3、flume的架构 二、 flume部署...

  • 玩转大数据计算之Flume

    Flume版本:我们使用Flume最新的版本:Flume NG 1.7.0 Flume架构Flume是一个分布式的...

  • Flume 入门

    一:Flume是什么: 二:特点: 三:Flume版本介绍 四:Flume NG基本架构 五:Flume NG核心...

  • flume的部署和测试

    1 flume 安装 flume下载:http://flume.apache.org/download.htmlf...

  • 091-BigData-19Flume与Flume之间数据传递

    上一篇:090-BigData-18Flume Flume与Flume之间数据传递 一、单Flume多Channe...

  • java大数据之flume

    一、Flume简介 1.1 Flume的位置 1.2 Flume是什么 (1)Flume提供一种分布式的,可靠地,...

  • Flume(一)概述

    Flume图标 Flume图标 Flume定义 Apache Flume是一个分布式,可靠且可用的系统,用于有效地...

  • Flume pull方式和push方式整合

    Pull方式 Flume Agent 编写 启动Flume Push方式 Flume Agent的编写 启动flu...

网友评论

    本文标题:Flume | 绪

    本文链接:https://www.haomeiwen.com/subject/xddshctx.html