一、大数据简介
- 4V：volume,variety,velocity,value
- 互联网数据非结构化为主；企业数据结构化为主
- hadoop：HDFS,mapreduce,hbase
-
华为：
image.png
二、FusionInsight简介
- 包括数据集成、数据洞察、数据处理平台，以及manager统一管理所有部件
-
架构：
image.png
- Hadoop层：大数据处理环境；
- DataFarm层提供支撑端到端数据洞察→包括数据集成服务porter数据挖掘服务miner和数据服务框架farmer
三、FusionInsight组件介绍
- HDFS：Hadoop分布式文件系统；分块分布式存储大文件
- Hive：提供类似SQL的HQL语言完成对存储数据的查询和分析→数据汇总；非实时分析；数据挖掘
- Hbase：分布式数据库
- Yarn：资源管理与调度
- mapreduce：分布式计算架构
- spark：基于mapreduce的改进，输出和结果保存在内存中。适用于近线或准实时应用场景。
- storm：流式数据处理框架
四、功能特性
- 安全：用户权限集中管理
网友评论