在当今的计算环境中,越来越多的公司开始使用大量数据集,范围达到数百PB甚至更多。无论是大数据分析,高清视频还是物联网应用,公司在日常运营中处理大量数据的必要性都在不断增长。从历史上看,企业已将其数据作为文件层次结构进行管理。但是这种方法对于有效处理今天变得越来越普遍的庞大数据集来说是不够的。这就是现代公共云平台和其他大数据用户使用对象存储来代替旧文件系统的原因。随着私有云使用的增长,他们也在使用对象存储来应对高效处理大量数据的挑战。
使用对象存储时,没有目录树或文件夹。相反,有一个平坦的全局命名空间,允许直接寻址每个存储数据单元,称为对象。每个对象不仅包含数据,还包含描述数据的元数据,以及唯一标识该对象的全局ID号。这允许存储系统中的每个对象,无论它在何处物理存储,都可以通过提供其唯一标识符来快速检索。
在云环境中处理海量数据集时,对象存储具有许多独特的优势。我们来看看其中一些:
1、它具有无限可扩展性。由于其平坦的命名空间,理论上可以简单地通过添加对象来缩放对象存储系统,每个对象具有其自己的唯一ID。
2、元数据使搜索变得容易。每个对象附带的元数据提供有关对象数据的关键信息,使您可以轻松快速有效地搜索和检索所需数据,而无需分析数据本身。
3、它非常强大和可靠。VPSA对象存储与使用分布式“环”拓扑策略的传统RAID冗余存储不同。通过使用擦除编码(而不是RAID)来实现跨多个节点的连续和有效的数据复制,对象存储系统自动备份数据,并且可以快速重建被破坏或损坏的数据。可以随意添加或删除节点,系统使用Swift的底层Ring复制来确保合并新对象,或者自动透明地重建已删除的对象。
4、它简化了存储管理。对象的元数据可以根据需要包含有关数据的尽可能多的(或尽可能少的)信息。例如,它可以指定对象的存储位置,应用程序将使用它,应删除它的日期或需要什么级别的数据安全性。具有每个对象的这种详细程度允许大部分数据管理任务在软件中自动化。
5、它降低了成本。对象存储系统不需要昂贵的专用存储设备,但设计用于低成本的商用磁盘驱动器。
网友评论