我在上一篇文章《我的数据我做主》中,简单分析了数字世界中数据作为生产资料应该得到更合理的组织和管理,让数据的生产者真正拥有数据。数据必然要从集中走向分散。那么存储系统和存储技术也要为数据的分散化做好准备。
在文中我也提到最理想的方式是建立一个存储的统一标准,就像现在的互联网一样,构建一个标准的存储网络,统一的协议,统一的接口,不同的企业都可以为存储提供基础设备和传输,个人可以选择不同的存储提供商的服务,就像您更换网络运营商一样方便。本篇就简单说说分散化的存储到底有什么好处。
image什么是边缘存储
边缘存储(Edge Storage)就是把数据直接存储在数据采集点,而不需要把采集的数据通过网络(即时)传输到存储的中心服务器(或云存储)的数据存储方式。这种存储在端(边缘)的存储方式也就是分布式的存储,或者可以称作去中心化存储。
举些例子来说明:1)公共监控摄像,在摄像头本地保存数据,即时处理,毋需把所有数据传输至中心机房;2)家庭数据中心,用户非常希望数据存储在自己的家里,而不是存储于提供安全防护的公司,实际上希望提供服务的公司最好不接触数据,兼顾隐私和安全。3)车联网采集的数据,往往可以在端进行先期处理,在把整理后的少量数据传输给服务中心。
为什么现在提出边缘存储
这句话同样可以反过来问,为什么现在主要使用的是中心存储,而不是边缘存储?一个很重要的原因是,数据处理在中心,边缘设备的处理能力还不够,此其一。其二,没有很好的技术方案来进行边缘节点的相互链接,是的边缘更多地承担数据采集的任务。
同样,现在提出这个问题,是因为1)随着芯片技术的发展,端设备的运算能力和处理速度都已经大幅度上升,尤其是视频编解码技术的发展和摄像头的大规模采用,使得设备成本大大降低,在数据的采集端已经可以进行较好的数据处理;2)去中心化存储技术的飞速发展,比如IPFS所采用的Libp2p,能够很好地解决端设备的局部互联的问题,可以在边缘进行链接和处理。
拿车联网举例来说,汽车上的摄像头采集的数据完全可以存放在本地,由于在同一个地区运行的汽车很多,它们会采集大量重复的数据,也有数据的相互补充。当把数据存储在本地,同一个街道上的汽车能够相互链接对数据进行即时整合,那么需要上传的数据就大大减少了。
image边缘存储带来哪些好处
边缘存储的需求主要包括网络带宽资源的有效利用,可靠性,安全和隐私保护等多个方面。
网络带宽的有效利用
当我们采用数据中心存储数据的时候,所有的数据都需要传输到中心,带宽的需求是极大的。当我们谈及物联网的时候,讨论这个数十万亿产业的时候,如果我们不能很好地解决传输的问题,物联网的发展将大大受阻。
然而,如果我们把存储移到边缘,这个移动,对带宽的节省十分巨大,这样,网络讲可以支撑几乎是无限量的应用,对物联网的促进可以说是举足轻重的。
同时我们知道,由于数据过于庞大,数据中心并不能保存所有的数据,通常的电子监控都仅保存数天,或数周,最多数月的数据。如果这些数据能够保存在端,实际上是把存储需求从中心移到边缘,并不会增加存储成本。
部署将更加容易
从存储的中心化到存储的边缘化,当然需要一些架构上的改变,但是,这样的改变将使得架构更加清晰,数据的处理分为端处理和中心处理两个部分。在现在端设备性能越来越高的情况下,每一个端设备都是一台计算机(比如现在多数都运行Andiod系统),不再是傻瓜式的简单的数据采集设备。处理分级和分层将更加容易,逻辑更清晰。
容错性更强
当数据的处理完全是中心化的时候,任何的网络问题,或者数据中心本身的问题,都会导致服务中断。受影响面十分巨大。
而当端设备具有一定的处理能力,数据也存储到端之后,对网络的要求大大降低,一部分的网络中断只会影响小部分功能,因为很多处理同样可以在本地进行。同时,当本地的点对点网络能够建立起来后,网络的冗余性会解决部分网络中断的问题。容错性得到极大加强。
安全与隐私兼顾
当今如果我们要能够随时随地访问我们的私人数据,我们的办法是把我们的数据放到云上去,比如阿里云,百度云。但是,你担心你的隐私问题吗?你的数据安全吗?你是否会存储所有的数据到云上?更多的时候,我们这样做是因为我们没有别的选择。
为什么家庭安防,智能家居的发展如此缓慢?这其中很重要的也有一个隐私问题。当你在家里安装好摄像头,如果你需要通过一个服务提供商才能看到家里的情况,你当然会担心隐私泄漏。存储到端加上点对点的网络技术可以帮助解决这个问题。在新的更好的解决方案里,你不需要把数据存储到网上,数据就在你家里的HomeNAS上,由于数据处理能力的增强,所有数据都是可以加密存储的。而通过P2P网络,你可以建立你的端设备和你家里的数据中心的点到点链接,让数据私密传送,同时兼顾安全与隐私。
与边缘计算相结合
存储到边缘有一个非常大的好处就是与边缘计算相结合,前面讲了车联网的例子,能够大大节省带宽,能够提供网络冗余。
同样考虑安防的情况,如果你可以对你家的摄像报警系统进行配置,设置报警的条件,多数情况下视频信息是不需要上传的,只有在出现异常情况才需要占用网络带宽和外部资源。另一方面,对于视频而言,可以考虑不同的视频流的传输,比如本地存储高清晰高解析度的视频流,而在网络上传输的可以是低码率低清晰度占用有限带宽的数据,既可以解决实时监控的问题,如果有需要也可以进行进一步的分析。
边缘存储网络带来爆发式增长
前文提到的还仅仅是边缘存储本身可能带来的好处。如果再进一步,边缘存储之间建立链接呢?这种不用通过中心化的服务器,边缘存储自身可以链接和共享的话,将会带来非常多的有趣的应用。
最容易想到的就是网络加速,利用边缘存储建立分发网络,由于设备非常分散,分发加速的效果将远远好于当前站点有限的CDN网络。试想,如果你愿意分享一部分存储用于分发,那么你所观看的热门电视剧就可以被邻居直接下载使用,这一方面对网络带宽是极大的节省, 另一方面,你也可以通过分享获取部分收益。
当边缘存储进入实用阶段,去中心化的应用也更容易建立。基于地域的社区将可以不通过中心服务器,或通过服务商进行交互。也更容易建立基于社区的私有网络。
同样,由于基于边缘存储的点对点网络的建立,使得应用或服务商之间的数据共享变得更加容易和便捷。在一个理想化的情况下,服务商或应用提供商完全可以不拥有数据,而数据本身属于数据的生产者,这样一来,数据的拥有者就完全可以把这部分数据分享给不同的应用或者服务,用于产生超额价值。比如说,远程医疗可以让病人把自己的检查结果存储在本地,而病人可以支配自己的检查报告,用于提供给不同的医生或医院进行诊断。同时,如果病人愿意,也可以匿名地分享给研究机构作为科研数据。
image
一个更分散化的网络时代更能满足社会发展的需求,也是接下来几年的发展的趋势。今天,边缘存储,物联网,5G,边缘计算这些新兴科技的发展,使得这一切变得现实和急迫。这不只是未来的可能,也是一条不得不走的路。
image
网友评论