美文网首页
第四章 大数据的数据整合、交换与交易

第四章 大数据的数据整合、交换与交易

作者: etheon | 来源:发表于2019-04-18 16:47 被阅读0次

    数据处理流程:
    数据源界定--数据的抽取和整合--数据分析--可视化--应用

    数据整合过程要素:
    1.统一模式,制定标准
    2.构建适合结构化和非结构化数据融合的数据模型
    3.重视数据质量和数据可信度
    4.重视数据安全管理,确保大数据生态圈信息安全


    大数据平台整合

    1.HDFS分布式文件系统
    2.MapReduce分布式计算框架
    3.HBase分布式数据库
    4.交互式数据查询分析
    Hive,Pig
    5.数据收集转换工具
    Flume,Sqoop
    6.其他大数据平台
    Storm,Spark


    大数据与存储架构的整合

    1.传统存储架构
    2.集群存储的发展
    3.基于HDFS的集群存储
    4.固态硬盘对内存计算的支持


    大数据与网络架构的发展

    UEF--统一以太网结构
    SDN--软件定义网络


    大数据与虚拟化技术的整合

    全虚拟化,半虚拟化

    Hadoop环境下的数据整合

    1.Hadoop计算环境下的数据整合问题
    整合传统数据源,HDFS之上的数据源间的整合
    2.数据库整合工具Sqoop
    3.hadoop内部数据整合工具HCatalog


    大数据数据交换

    1.数据集成技术
    2.数据交换体系应用框架
    数据源层--数据交换层--数据共享层--数据处理层--数据展示层
    3.数据交换关键技术
    web service:SOAP和Restful
    数据交换格式:XML和JSON
    企业服务总线ESB


    大数据交易

    1.大数据交易产业链
    2.大数据交易业务模式分析
    交易中介,数据产品交易,数据再生产交易
    3.大数据交易发展趋势

    相关文章

      网友评论

          本文标题:第四章 大数据的数据整合、交换与交易

          本文链接:https://www.haomeiwen.com/subject/xkyabqtx.html