微博：@IFPS宗师风清扬
分布式存储的概念
分布式存储系统顾名思义就是将大量的普通服务器，通过网络互联，对外作为一个整体提供存储服务。具有可扩展性、可用性、可靠性、 高性能、易维护、低成本等特性。
分布式存储的优点
大数据时代，数据处理需求急剧增长，全球数据存储量呈现爆炸式增长，企业用户及个人用户的互联网数据以每年50%的速率在增长，据Gartner预测，到2020年，全球数据量将达到35ZB，等于80亿块4TB硬盘。
数据结构变化给存储系统带来新的挑战。集中存储是物理介质集中布放，所有数据易被恶意攻击及访问用作大数据分析，个人用户及企业用户数据缺少隐私性，同时对机房环境要求高，要求机房空间大，承重、散热等都是需要考虑的问题。点存科技提供。
而现实中数据存储亦可用分布式存储解决现有问题，物理介质可以分布到不同的地理位置，文件、视频、资料就近上传，对骨干网带宽没有什么要求，可采用多套低端的小容量的存储设备分布部署，设备价格和维护成本较低，小容量设备分布部署，对机房环境要求低。
分布式文件系统的发展
80年代
代表：AFS、NFS、Coda
AFS：1983年 Carnegine Mellon大学和IBM共同合作开发Andrew文件系统（Andrew File System, AFS），AFS设计目标是将至少7000个工作站连接起来，为每个用户提供一个共享的文件系统，将高扩展性、网络安全性放在首位，客户端高速缓存，即使网络断开，可以对部分数据缓存。
NFS：1985年Sun公司基于UDP开发了网络共享文件系统（Network File System, NFS），NFS由一系列NFS命令和进程组成的客户机/服务器（C/S）模式。NFS第三版，加入了基于TCP传输，第三版发布六年后，NFS成为Linux中的稳定版本。
Coda：1987年 Carnegine Mellon大学在基于AFS的基础上开发了Coda文件系统，它为Linux工作站组成的大规模分布式计算环境设计的文件系统。
通过两种互补机制为服务器和网络故障提供了容错机制，服务器复制机制，一个文件拷贝到多个服务器上，无连接操作机制，将缓存端暂时作为服务端的执行模式，Coda注重可靠性和性能优化，它提供了高度的一致性。
90年代
代表：xFS、Tiger Shark 、SFS…
背景：进入九十年代，随着Windows的问世，极大促进了微处理器的发展和PC的广泛普及，互联网和多媒体技术也犹如雨后春笋般发展起来，一方面：对多媒体数据的实时传输需和应用越来越流行，另一方面：大规模并行计算技术的发展和数据挖掘技术应用，迫切需要能支持大容量和高速的分布式存储系统。
xFS：UC Berkeley参照当时高性能多处理器领域的设计思想开发了xFS文件系统，xFS克服了以往分布式文件系统只适用局域网，而不适用于广域网和大数据存储问题，提出广域网进行缓存较少网络流量设计思想，采用层次命名结构，减少Cache一致性状态和无效写回Cache一致性协议，从而减少了网络负载。
20世纪末
代表：SAN、NAS、GFS、HDFS、GPFS…
背景：到了二十世纪末，计算机技术和网络技术得到了飞速发展，磁盘存储成本不断降低，磁盘容量和数据总线带宽的增长速度无法满足应用需求，海量数据的存储逐渐成为互联网技术发展急需解决的问题，对于分布式存储系统技术的研究越来越成熟，基于光纤通道的存储区域网络（Storage Area Network）技术和网络附连存储（Network Attached Storage）技术得到了广泛应用。
SAN：设计目标是通过将磁盘存储系统或者磁带机和服务器直接相连的方式提供一个易扩展、高可靠的存储环境，高可靠的光纤通道交换机和光纤通道网络协议保证各个设备间链接的可靠性和高效性，设备间的连接接口主要是采用FC或者SCSI，光纤通道交换机主要是为服务器和存储设备的链接提供一个称为“SAN fabric”的网状拓扑结构。
NAS：通过基于TCP/IP协议的各种上层应用（NFS等）在各工作站和服务器之间进行文件访问，直接在工作站客户端和NAS文件共享设备之间建立连接，NAS隐藏了文件系统的底层实现，注重上层的文件服务实现，具有良好扩展性，网络阻塞，NAS性能受影响。
GFS：Google为大规模分布式数据密集型应用设计的可扩展的分布式文件系统，Google将一万多台廉价PC机连接成一个大规模的Linux集群，它具有高性能，高可靠性，易扩展性，超大存储容量等优点。
Google文件系统采用单Master多Chunk Server来实现系统间的交互，Master中主要保存命名空间到文件映射、文件到文件块的映射、文件块到Chunk Server的映射，每个文件块对应到3个Chunk Server。
现在
代表：IPFS、MongoDB、DynamoDB…
IPFS：由Juan Benet在2014年5月份发起。Juan Benet的个人经历很传奇，他毕业于斯坦福大学，在创建IPFS项目之前，他创办的第一家公司被雅虎收购。2015年，他创建的IPFS在YCombinator孵化竞赛中拿到了巨额的投资，同时成立了协议实验室。点存矩阵矿机能挖Filecoin。
这个实验室团队由14位核心开发者以及社区中上百位代码贡献者组成的。IPFS本质上是一种内容可寻址、版本化、点对点超媒体的分布式存储、传输协议，目标是补充甚至取代20多年里使用的超文本传输协议（HTTP），希望构建更快、更安全、更自由的互联网时代。
MongoDB：文档型数据库它同键值(Key-Value)型的数据库类似，键值型数据库的升级版，允许嵌套键值，Value值是结构化数据，数据库可以理解Value的内容，提供复杂的查询，类似于RDBMS的查询条件。
DynamoDB：Amazon 公司的一个分布式存储引擎，是一个经典的分布式Key-Value 存储系统，具备去中心化，高可用性，高扩展性的特点，达到这个目标在很多场景中牺牲了一致性，Dynamo在Amazon中得到了成功的应用，能够跨数据中心部署于上万个结点上提供服务，它的设计思想也被后续的许多分布式系统借鉴。
微博：@IPFS宗师风清扬
转自微信公众号杭州点存科技有限公司侵权请告知
网友评论