美文网首页
第四章 大数据的数据整合、交换与交易

第四章 大数据的数据整合、交换与交易

作者: etheon | 来源:发表于2019-04-18 16:47 被阅读0次

数据处理流程:
数据源界定--数据的抽取和整合--数据分析--可视化--应用

数据整合过程要素:
1.统一模式,制定标准
2.构建适合结构化和非结构化数据融合的数据模型
3.重视数据质量和数据可信度
4.重视数据安全管理,确保大数据生态圈信息安全


大数据平台整合

1.HDFS分布式文件系统
2.MapReduce分布式计算框架
3.HBase分布式数据库
4.交互式数据查询分析
Hive,Pig
5.数据收集转换工具
Flume,Sqoop
6.其他大数据平台
Storm,Spark


大数据与存储架构的整合

1.传统存储架构
2.集群存储的发展
3.基于HDFS的集群存储
4.固态硬盘对内存计算的支持


大数据与网络架构的发展

UEF--统一以太网结构
SDN--软件定义网络


大数据与虚拟化技术的整合

全虚拟化,半虚拟化

Hadoop环境下的数据整合

1.Hadoop计算环境下的数据整合问题
整合传统数据源,HDFS之上的数据源间的整合
2.数据库整合工具Sqoop
3.hadoop内部数据整合工具HCatalog


大数据数据交换

1.数据集成技术
2.数据交换体系应用框架
数据源层--数据交换层--数据共享层--数据处理层--数据展示层
3.数据交换关键技术
web service:SOAP和Restful
数据交换格式:XML和JSON
企业服务总线ESB


大数据交易

1.大数据交易产业链
2.大数据交易业务模式分析
交易中介,数据产品交易,数据再生产交易
3.大数据交易发展趋势

相关文章

  • 第四章 大数据的数据整合、交换与交易

    数据处理流程:数据源界定--数据的抽取和整合--数据分析--可视化--应用 数据整合过程要素:1.统一模式,制定标...

  • 《网络安全法》实施一个月,大数据创业公司还好吗?

    前几年,全国兴建了很多大数据交易中心和大数据交易所。当时,主要目的就是让数据可交易、可交换,消除数据孤岛。 阿里巴...

  • 数据交换平台的功能结构设计与实现

    数据交换平台定义 数据交换平台是指将分散建设的若干应用信息系统进行整合,通过计算机网络构建的信息交换平台,它使若干...

  • 数据资产价值体系治理

    一、数据流通 组织应识别数据资产,明确数据权属,定义数据开放共享、交换和交易等流通方式,保证数据流通过程的合法合规...

  • 数据交换格式

    1. 什么是数据交换格式 数据交换格式,就是服务器端与客户端之间进行**数据传输与交换的格式 前端领域,经常提及的...

  • ISO8583报文怎么来的

    金融系统起初是由IBM这些大的公司来提供设备,比如主机与终端等。计算机设备之间进行通讯,需要交换数据。对于即溶交易...

  • 【练习】信用卡欺诈检测

    1 数据分析与预处理 建立逻辑回归模型,对正常交易数据和异常交易数据进行分类。 1.1 数据读取与分析 从csv文...

  • IO流基础与字节流,字符流

    IO流基础 一、概念数据的交换程序与文件,数组,网络资源,数据库资源的数据传输与交换。 二、IO流的分类 流向:输...

  • 还有4天,明天提交院里查重

    目前论文还有 第二章的数据需要处理 第四章地面实测数据预处理、数据库结构、整合概述需要完善 第五章数据预处理中间件未写

  • 探究Presto SQL引擎(1)-巧用Antlr

    一、背景 自2014年大数据首次写入政府工作报告,大数据已经发展7年。大数据的类型也从交易数据延伸到交互数据与传感...

网友评论

      本文标题:第四章 大数据的数据整合、交换与交易

      本文链接:https://www.haomeiwen.com/subject/xkyabqtx.html