数据处理流程:
数据源界定--数据的抽取和整合--数据分析--可视化--应用
数据整合过程要素:
1.统一模式,制定标准
2.构建适合结构化和非结构化数据融合的数据模型
3.重视数据质量和数据可信度
4.重视数据安全管理,确保大数据生态圈信息安全
大数据平台整合
1.HDFS分布式文件系统
2.MapReduce分布式计算框架
3.HBase分布式数据库
4.交互式数据查询分析
Hive,Pig
5.数据收集转换工具
Flume,Sqoop
6.其他大数据平台
Storm,Spark
大数据与存储架构的整合
1.传统存储架构
2.集群存储的发展
3.基于HDFS的集群存储
4.固态硬盘对内存计算的支持
大数据与网络架构的发展
UEF--统一以太网结构
SDN--软件定义网络
大数据与虚拟化技术的整合
全虚拟化,半虚拟化
Hadoop环境下的数据整合
1.Hadoop计算环境下的数据整合问题
整合传统数据源,HDFS之上的数据源间的整合
2.数据库整合工具Sqoop
3.hadoop内部数据整合工具HCatalog
大数据数据交换
1.数据集成技术
2.数据交换体系应用框架
数据源层--数据交换层--数据共享层--数据处理层--数据展示层
3.数据交换关键技术
web service:SOAP和Restful
数据交换格式:XML和JSON
企业服务总线ESB
大数据交易
1.大数据交易产业链
2.大数据交易业务模式分析
交易中介,数据产品交易,数据再生产交易
3.大数据交易发展趋势
网友评论