区块链和大数据关系并不是很大。大数据主要的是对于海量数据进行管理，而区块链的核心是在没有中心化中介计入的情况下实现数据的高安全性和高可靠性。所以区块链和大数据并不互相冲突，也不会取代，完全是面对不同场景情况下对于数据的不同解决方案。
大数据和区块链的是两种截然不同的新兴技术，但是它们有着很大的可以结合的空间。
一、大数据，需要应对海量化和快增长的存储，这要求底层硬件架构和文件系统在性价比上要大大高于传统技术，能够弹性扩张存储容量。谷歌的GFS和Hadoop的HDFS奠定了大数据存储技术的基础。另外，大数据对存储技术提出的另一个挑战是多种数据格式的适应能力，因此现在大数据底层的存储层不只是HDFS，还有HBase和Kudu等存储架构。
二、区块链，是比特币的底层技术架构，它在本质上是一种去中心化的分布式账本。区块链技术作为一种持续增长的、按序整理成区块的链式数据结构，通过网络中多个节点共同参与数据的计算和记录，并且互相验证其信息的有效性。从这一点来说，区块链技术也是一种特定的数据持久化技术。由于去中心化在安全、便捷方面的特性，很多业内人士看好其发展，认为它是对现有互联网技术的升级与补充。
三、大数据与区块链的分布式计算：MapReduce vs. 共识机制
1、大数据的分析挖掘是数据密集型计算，需要巨大的分布式计算能力。节点管理、任务调度、容错和高可靠性是关键技术。Google和Hadoop的MapReduce是这种分布式计算技术的代表，通过添加服务器节点可线性扩展系统的总处理能力(Scale Out)，在成本和可扩展性上都有巨大的优势。现在，除了批计算，大数据还包括了流计算、图计算、实时计算、交互查询等计算框架。
2、区块链的共识机制，就是所有分布式节之间怎么达成共识，通过算法来生成和更新数据，去认定一个记录的有效性，这既是认定的手段，也是防止篡改的手段。区块链主要包括四种不同的共识机制，适用于不同的应用场景，在效率和安全性之间取得平衡。以比特币为例，采用的是“工作量证明”(Proof Of Work，简称POW)，只有在控制了全网超过51%的记账节点的情况下，才有可能伪造出一条不存在的记录。
四、“大数据”与“区块链”在Gartner历年的《技术成熟度曲线》中的出现情况：
2011年，“大数据”第一次上榜，位于技术萌芽期的爬坡阶段，当时还统称为“‘Big Data’ and Extreme Information Processing and Management”(“大数据”和极端信息处理和管理)。2012年更进一步，并在2013年几乎达到了过热期顶峰。经历了2014年的下滑，从2015年开始，“大数据”突然从曲线中消失，可解读为Gartner对大数据的定位已从“新兴”转为“主流”。当前，大数据对于企业的意义已从能力要素上升为战略核心。
相对而言，“区块链”直到2016年才第一次出现在《技术成熟度曲线》中，并直接进入“过热期”。总的来看，“大数据”和“区块链”所处的生命周期阶段大不相同，两者约有5年左右的差距。
1.大数据与区块链联系的主要差异
区块链能承载的信息数据是有限的，离“大数据”标准还差得很远。区块链与大数据有几个显著差异：
1.结构化vs非结构化：区块链是结构定义严谨的块，通过指针组成的链，典型的结构化数据，而大数据需要处理的更多的是非结构化数据;
2.独立vs整合：区块链系统为保证安全性，信息是相对独立的，而大数据着重的是信息的整合分析;
3.直接vs间接：区块链系统本身就是一个数据库，而大数据指的是对数据的深度分析和挖掘，是一种间接的数据;
4.数学vs数据：区块链试图用数学说话，区块链主张“代码即法律”，而大数据试图用数据说话;
5.匿名vs个性：区块链是匿名的(公开账本，匿名拥有者，相对于传统金融机构的公开账号，账本保密)，而大数据有意的是个性化;
1.大数据与区块链的差异能否调和呢？
大数据与区块链的联系，对一个分布式系统来说，存在CAP定理(CAP theorem)又被称作布鲁尔定理(Brewer's theorem)，它指出一个分布式系统不可能同时满足以下几点：
1.一致性(Consistence)：在分布式系统中的所有数据备份，在同一时刻是否同样的值。
2.可用性(Availability)：在集群中一部分节点故障后，集群整体是否还能响应客户端的读写请求。
3.分区容忍性(Partition tolerance)：集群中的某些节点在无法联系后，集群整体是否还能继续进行服务。
由于当前的网络硬件肯定会出现延迟丢包等问题，所以分区容忍性是我们必须需要实现的。换句话说，CAP定理表明我们必须在一致性(C)和可用性(A)之间进行权衡。换言之具体到区块链和大数据，大数据是以牺牲一致性(C)来换取可用性(A)和分区容忍性(P)的，而区块链却优先保证了一致性(C)。
总结：
通过以上CAP定理来看，我们可以得出大数据与区块链的联系结论：区块链和大数据之间的诸多特性无法两全。
网友评论