美文网首页
存储基础知识(一)

存储基础知识(一)

作者: running_sheep | 来源:发表于2018-08-02 09:57 被阅读0次

存储基础知识一 块存储,文件存储,对象存储

身为存储组的一员,如何能不了解存储,啃了几周的《大话存储》,虽然还是一知半解,但好歹对存储say hello了。比较重要的是块存储,文件存储和对象存储了哇,毕竟组内工作也是这么开展的,但读了培训资料还是觉得晦涩难懂,有必要系统梳理一下。

因为涉及到一些概念,故而需要对一些必要的知识有所了解

1. 几个基本概念

RAID

因为一块磁盘的容量和速度是有限的,对于一些特别大的数据,无论是存储还是读写速度,一块盘都不能满足。因此,RAID应运而生,Redundant Array of Independent Disks 有独立的磁盘组成的具有冗余特性的阵列。 RAID 将多个磁盘整合成逻辑上连续的存储区,经过RAID计算,可以再分成多个逻辑盘。

LVM

Logical Volumn Management 卷管理层。对RAID控制器提交的逻辑盘加以组织再分配的软件。将OS识别到的磁盘逻辑上连续编址,再分割成小块,再组合成逻辑卷。像揉面团,哪里不够补一点。

FC 协议

硬盘从内置主机到解放成独立设备,可以放在巨大的机柜里,通过并行SCSI总线与主机相连。但是通过SCSI总线连接的方式属于物理连接,一旦通信双方距离远就不合适了。面向无连接的FC交换网络代替并行SCSI总线是必然的。使存储系统和主机系统可以远隔千里进行通信。

使用FC协议,盘阵前端可以同时提供多个主机接口。同样,盘阵后端也采用FC协议,可以接入更加多的磁盘。

前端后端都采用FC协议实现网络化,意味着,一个个磁盘相当于网络上的节点,可以彻底实现网络化存储

DAS

开放系统的直连式存储(Direct-Attached Storage),主机与存储设备之间采用SCSI连接。但随着磁盘阵列不断扩大,SCSI会成为IO瓶颈。

SAN

存储区域网络(Storage Area Network)这个网络专门用来给主机连接存储设备用的,该网络中的元件都是为了让主机更好的访问存储设备。一般会采光纤来支持FC协议。

NAS

网络附加存储(Network Attached Storage)指带有集中式文件系统功能的盘阵。将文件系统的功能迁移到磁盘阵列上,让磁盘自己管理存储空间。对外提供统一的用户接口,使用者不用再记录某某文件和券上扇区或者簇块的对应关系。

NAS与SAN的区别主要不是使用以太网和TCP/IP协议,而是,SAN是一个基于FC网络上的磁盘,NAS是一个以太网络上的文件系统。

网络文件系统与本地文件系统唯一的区别就是传输方式从主板上的导线变成了以太网络。

2. 块存储

了解了以上概念,下面可以学习块存储、文件存储和对象存储了。

块存储主要就是将裸磁盘空间整个映射给主机使用。当然这个磁盘空间是通过RAID或者LVM划分出来的逻辑盘。与内置硬盘方式无异。

因为使用了RAID/LVM技术,对数据提供了保护,也提升了读写效率。通常块存储会采用SAN或者DAS架构组网,提升传输速度和读写速度;但是使用SAN架构组网时,通常涉及到FC协议,要买光纤交换机比较贵。

不做集群情况下,主机之间无法共享数据。

不同操作系统的主机间也无法共享数据。

3. 文件存储

为了克服主机之间无法共享的问题,有了文件存储。

在NAS网络中,磁盘阵列上有一套集中式文件系统自己管理存储空间,不需要主机操作系统的参与,而主机与盘阵的集中式文件系统的交互通过网络来传递数据(以太网+TCP/IP)作为底层传输网络,而上层逻辑称为网络文件系统(相对于本地文件系统来讲)又名远程调用时文件系统RPC FS(Remote Procedure Call File System),微软的网络文件系统称为CIFS(Common Internet File System),Unix/Linux的称为NFS(Network File System)。这种文件系统逻辑不在本地运行而在网络上的其他节点运行。

这种存储方式不光磁盘和卷在远程节点,连文件系统也在远程节点。

*虽然FTP和NFS都属于文件存储,但是FTP是将远程文件先获取到本地再进行IO,不属于NAS

4. 对象存储

相对于SAN和NAS两种主流网络存储架构的新的网络存储架构。基于对象存储技术的设备就是对象存储设备OSD(Object-based Storage Device)

OBS(Object-Based Storage)对象存储综合了NAS和SAN的有点,同时具有SAN的高速直接访问和NAS的分布式数据共享的优势,高性能,高可靠性,跨平台以及安全的数据共享的存储体系结构。

为什么要搞对象存储?

因为块存储虽然快,但是不能数据共享,文件存储可以共享文件,但是传输慢。

什么是OBS?

多台服务器内置大容量硬盘,装上对象存储软件,在搞几台服务器作为管理节点,安装对象存储管理软件。管理节点可以管理其他服务器对外提供读写访问功能。

一个文件包含属性和内容

属性:metadata,元数据,如文件大小,修改时间,存储路径

内容:简称数据

文件系统的存储过程是先将文件打碎,然后一块一块的写进磁盘,不区分数据和metadata;对象存储将metadata独立出来,管理节点又叫元数据服务器(装有对象存储管理软件的服务器),主要负责对象的属性即metadata,其他负责存储数据的分布式服务器叫OSD,负责存储数据。用户先访问元数据服务器,了解到数据分布情况,再去相应的位置获取数据。由于是多台OSD同时对外传输数据,传输速度就加快了。

为什么有了对象存储还需要块存储和文件存储?

数据库裸盘映射适合块存储

对象存储需要对象存储软件和大容量硬盘,比起文件存储来讲还是比较贵的,如果数据量不大,只是为了实现数据共享,可以直接用文件存储。

总结

三种存储方式不光依赖的传输方式不同,连存储设备本身也是不一样的,块存储设备磁盘阵列本身不集成文件管理系统;文件存储设备上会集成文件管理系统,并依赖网络文件管理系统;对象存储,除了依赖对象存储软件,对象存储管理软件,还对服务器集群进行了分类,负责管理的存元数据的服务器以及负责存储数据的OSD对象存储设备。

总的感觉就是存储设备本身负责的工作越来越多,越来越智能。

参考资料

《大话存储》

《SDS培训文档》

相关文章

  • 存储基础知识(一)

    存储基础知识一 块存储,文件存储,对象存储 身为存储组的一员,如何能不了解存储,啃了几周的《大话存储》,虽然还是一...

  • 28-网络文件共享服务

    本章内容 ◆ FTP服务◆ NFS服务◆ SAMBA服务◆ 数据同步 存储基础知识---存储网络 直接存储(Dir...

  • Screeps 实现数据层与业务层分离

    基础知识 阅读本文前,请先了解一下 Screeps存储基础知识[%5BThe-design-of-OverDom/...

  • SQLite数据库精炼详解

    一、前期基础知识储备 Android本地化存储三种方式:①文件存储,存储简单二进制数据和文本数据;②SharedP...

  • mysql学习大纲

    一、基础知识 1 MySQL数据库概要 2 简单MySQL环境 3 数据的存储和获取 MySQL存储引擎类型 In...

  • 操作系统知识总结

    操作系统基础知识总结(一) 进程和线程的区别 死锁的必要条件,怎么处理死锁 内存管理方式:段存储,页存储,段页存储...

  • python:数据存储与程序调试

    python基础知识 数据转储 数据转换存储 • 数据的存储交换发生在:_ 在同一程序的不同片段之间;_ 在不同的...

  • 大数据基础知识学习

    大数据基础知识学习 文件存储:Hadoop HDFS、Tachyon、KFS 离线计算:Hadoop MapRed...

  • mysql 数据库

    1.nysql的基础知识数据库就是用来存储和管理数据的仓库。 数据库存储数据的优点: 1.可存储大量的数据 2....

  • MySQL 数据库设计经验总结

    基础知识 存储引擎 通常来说,我们做业务开发,指定存储引擎为 InnoDB 即可。 字符集 通常来说,只要指定为 ...

网友评论

      本文标题:存储基础知识(一)

      本文链接:https://www.haomeiwen.com/subject/rghjvftx.html