思考：flume可以直接将数据写入到hdfs为何还要再加一个kafka 一层flume？
理由
1.数据的产生与HDFS处理数据的能力并不一定时时刻刻都相同，所以当数据的产生速率大于hdfs的处理能力的时候时就会造成数据堆积甚至是数据丢失，而kafka正好起到一个缓存数据的功能，可以缓存数据，避免数据数据丢失。
2.当新增加几个业务，或需要实时获取数据时，不可能说再配置几套flume，那样太复杂了，效率也不高，而kafka具有发布订阅的特点，恰好可以满足多条业务获取数据的需求。
3.针对第二层flume，因为flume做了将数据写到hdfs/hbase的优化，同时还可以得到Flume对HDFS/HBase优化带来的好处。
思考：flume可以直接将数据写入到hdfs为何还要再加一个kafka一层flume？ 理由 1.数据的产生与HD...
项目实战-基于Hadoop技术实现的离线电商分析平台(Flume、Hadoop、Hbase、SpringMVC、 ...
flume 安装与hadoop 安装 1 下载 hadoop-3.2.1 与 flume-1.9 解压到/opt ...
大数据部门组织架构 平台组Hadoop Flume Kafka Hbase Spark 框架搭建集群性能测试集群性...
1.Hadoop 宏观: Hadoop为主的生态圈 hadoop flume........ 狭义: apache...
狭义 Hadoop HDFS MapReduce Yarn 资源调度 广义 Hadoop辅助框架 flume 日志...
flume架构总结 介绍flume之前先看一下Hadoop业务的整体流程开发： 从hadoop的业务流程图中可以看...
启动监控文件夹命令[atguigu@hadoop102 flume]$ bin/flume-ng agent --...
1.hadoop的广义和狭义的理解 宏观: Hadoop为主的生态圈 hadoop flume........狭义...
一、 Flume安装 1） 准备jdk:openjdk8hadoop:hadoop-2.6.0-cdh5.14.0...
本文标题：关于hadoop平台kafak,flume的搭配使用
本文链接：https://www.haomeiwen.com/subject/aeofwhtx.html
网友评论