导读： 网站分析也称Web分析(web analytics)。一言以蔽之，对于网站分析，个人的理解是：网站分析通过对网站各项数据指标进行解读与分析，从而了解和归纳网站浏览者的行为及洞察行为背后的需求，有针对性地对网站进行整体或细节的改善，提升网站运营水平和更好的满足网站用户需求。总之，网站分析是网站运营的一个核心模块。网站运营人员通过网站分析来改善网站和提高业绩。
下面就简单介绍一下在网站分析项目中用到的几个知识点简介
1，HDFS简介
HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统
HDFS有很多特点：
① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。
② 运行在廉价的机器上。
③ 适合大数据的处理。多大？多小？HDFS默认会将文件分割成block，64M为1个block。然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中。如果小文件太多，那内存的负担会很重。
如上图所示，HDFS也是按照Master和Slave的结构。分NameNode、SecondaryNameNode、DataNode这几个角色。
1，NameNode：是Master节点，是大领导。管理数据块映射；处理客户端的读写请求；配置副本策略；管理HDFS的名称空间；
2，SecondaryNameNode：是一个小弟，分担大哥namenode的工作量；是NameNode的冷备份；合并fsimage和fsedits然后再发给namenode。
3， DataNode：Slave节点，奴隶，干活的。负责存储client发来的数据块block；执行数据块的读写操作。
4，热备份：b是a的热备份，如果a坏掉。那么b马上运行代替a的工作。
5，冷备份：b是a的冷备份，如果a坏掉。那么b不能马上代替a工作。但是b上存储a的一些信息，减少a坏掉之后的损失。
6， fsimage:元数据镜像文件（文件系统的目录树。）
7， edits：元数据的操作日志（针对文件系统做的修改操作记录）
8，namenode内存中存储的是=fsimage+edits。
SecondaryNameNode负责定时默认1小时，从namenode上，获取fsimage和edits来进行合并，然后再发送给namenode。减少namenode的工作量。
2，flume概述
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。我们选用flume对内部多个系统的日志进行信号的采集、管理和查询，目前仅实现了信息管理功能，进一步会对报警、统计等功能进行开发。
flume的主要组件包括：
Source,SourceRunner,Interceptor,Channel,ChannelSelector，ChannelProcessor，Sink,SinkRunner,SinkProcessor,SinkSelector等
工作流程包含两个部分：
source->channel，数据由source写入channel，主动模式，主要步骤如下：
一个SourceRunner包含一个Source对象，一个Source对象包含一个ChannelProcessor对象，一个ChannelProcessor对象包含多个Interceptor对象和一个ChannelSelector对象
1）SourceRunner启动Source，Source接收Event
2) Source调用ChannelProcessor
3）ChannelProcessor调用Interceptor进行过滤Event操作
4）ChannelProcessor调用ChannelSelector对象根据配置的策略选择Event对应的Channel（replication和multiplexing两种）
5）Source将Event发送到对应的Channel中
channel->sink，数据由sink主动从channel中拉取（将压力分摊到sink,这一点类似于kafka的consumer）
一个SinkRunner对象包含一个SinkProcessor对象,一个SinkProcessor包含多个Sink或者一个SinkSelector
1）SinkRunner启动SinkProcessor(DefaultSinkProcessor，FailoverSinkProcessor，LoadBalancingSinkProcessor 3种)
2）如果是DefaultSinkProcessor的话，直接启动单个Sink
3）FailoverSinkProcessor，LoadBalancingSinkProcessor对应的是SinkGroup
4）FailoverSinkProcessor从SinkGroup中选择出Sink并启动
5）LoadBalancingSinkProcessor包含SinkSelector，会根据SinkSelector在SinkGroup中选择Sink并启动
6)Sink 从Channel中消费Event信息
3，MapReduce简介
MapReduce是个非常灵活和强大的数据聚合工具。它的好处是可以把一个聚合任务分解为多个小的任务，分配到多服务器上并行处理。
MongoDB也提供了MapReduce，当然查询语肯定是JavaScript。MongoDB中的MapReduce主要有以下几阶段：
1. Map:把一个操作Map到集合中的每一个文档
2. Shuffle: 根据Key分组对文档，并且为每个不同的Key生成一系列(>=1个)的值表(List of values)。
3. Reduce: 处理值表中的元素，直到值表中只有一个元素。然后将值表返回到Shuffle过程，循环处理，直到每个Key只对应一个值表，并且此值表中只有一个元素，这就是MR的结果。
4. Finalize：此步骤不是必须的。在得到MR最终结果后，再进行一些数据“修剪”性质的处理。
MongoDB中使用emit函数向MapReduce提供Key/Value对。
Reduce函数接受两个参数：Key,emits. Key即为emit函数中的Key。 emits是一个数组，它的元素就是emit函数提供的Value。
Reduce函数的返回结果必须要能被Map或者Reduce重复使用，所以返回结果必须与emits中元素结构一致。
Map或者Reduce函数中的this关键字，代表当前被Mapping文档。
4，Spark简介
什么是 Spark
Spark 是一个针对大规模数据处理的快速通用引擎
Spark 是 MapReduce 的替代方案，而且兼容 HDFS, Hive, 可容入Hadoop 的生态系统，弥补 MapReduce 的不足
Spark核心： RDD(Resilient Distributed Datasets 弹性分布式数据集）
RDD 可简单理解为： 一个提供了很多操作接口的数据集合，分布式存储于集群环境中的存储设备中（内存或硬盘），其中包括容错，并行处理等功能
==> Spark 特点
---> 快
---- 优点：与Mapreduce 相比，Spark 基于内存运算，运算速度要快100倍，基于硬盘计算，运算速度要快 10 倍
---- 缺点：没有对内存进行管理，把所有的内存管理都交给应用程序，以弥补MapReduce的不足，
容易出现 OOM（out of memory）, 可使用 Java Heap Dump 工具分析 Java 程序的内存溢出
---> 易用
---- Spark 支持 Java ，Python, Scala 的 API
---- 支持80多种算法
---- 支持交互式，可以在shell 中使用Spark 验证解决问题的方法
通用（生态圈）
---- 批处理
---- 交互式查询 （Spark SQL）
---- 实时流处理 （Spark Streaming）
---- 机器学习 ( Spark MLlib )
---- 图计算 ( GraphX )
---- 与 Hadoop 很好的融合， 可以直接操作 HDFS, 并提供 Hive on Spark, Pig on Spark的框架集成 Hadoop（配置Hive on Spark 还不成熟）
兼容性 可以非常方便的与其它开源产品进行融合
---- 可以使用 Hadoop 的 YARN 和 Apache Mesos 作为它的资源管理调度器
---- 可以处理所有 Hadoop 支持的数据：HDFS， HBase， Cassandra 等
---- 不需要做任何的数据迁移就可以使用 Spark 的强大处理能力
---- 可以不依赖第三方的资源管理和调度器，实现 Standalone 作为它的内置的资源管理和调试框架，降低部署的复杂性
---- 提供了在 EC2 上部署 Standalone 的Spark 集群工具
Spark 生太圈
---> Spark Core
---> Spark SQL
---> Spark Streaming
---> Spark MLLib: 机器学习
---> Spark GraphX: 图计算
上面这四种知识点在我们这个网站分析项目里面是需要用到的，那么这个网站分析项目具体有哪些内容呢？下面我就大家介绍一下这个项目的制定框架。可以加我扣扣3300863615
来学习下面这个项目，我这里会有视频资料。
网站分析项目：
1，项目介绍
1
2，业务数据存储：HDFS
2
3,业务数据采集：Flume
3
4,数据清洗与加工：MapReduce
4
5,数据清洗与加工：Spark
5
6，项目代码讲解及项目总结
以上这些内容你了解完了这个项目也就可以完整的做好，有需要学习的可以关注我，我这里有整个完整的项目的视频，学完以后就可以做好这个项目了！
网友评论