美文网首页
【华为网络技术大赛】储存基础原理

【华为网络技术大赛】储存基础原理

作者: Mjolnir1107 | 来源:发表于2018-04-15 22:39 被阅读0次

    广义的存储

    • 硬件存储系统
    • 存储软件
    • 存储网络
    • 存储解决方案

    存储方案

    1. DAS(直接连接存储)
      早期
    2. SAN(存储区域网络)
      采用专用的高速网将一个或多个网络存储设备和服务器连接在一起。分IP SAN和FC SAN。

    FC里面有个Zone的概念,可进行互通的端口或设备的名称构成的集合

    • 直接组网
    • 单交换组网
    • 双交换组网

    数据库场景,结构化数据,业务高性能,不占用业务网络资源
    面向稳定性比较高,性能要求比较高。如大企业、政府核心类的系统。
    关键数据库、集中存储、海量存储、备份、容灾等中高端存储应用环境。

    1. NAS(网络连接存储)

    关键办公文档共享,非结构化数据

    • NAS网关:文件共享
    • 大数据海量存储:视频监控,高性能计算。
      对存储容量要求不高、服务器数量很少的中小型局域网

    SAN和NAS相比不具有资源共享特征,SAN是只能独享的数据存储池,NAS是共享与独享兼顾的数据存储池。
    NAS是网络外挂式,SAN是通道外挂式。
    SAN高效可扩,NAS简单灵活。

    1. 统一存储 SAN+NAS
      同一套硬件软件直接提供两种服务

    计算机内部的存储

    内存

    SDR-->DDR
    DDR性能:容量 主频 带宽

    CPU

    CPU性能: 频率 缓存

    总线
    1. 计算机总线
      计算机内部各个组件 CPU和内存之间
    2. 主机总线
      传输到网卡,显卡
    3. IO总线
      传输到计算机外部

    网络化的存储

    1. 主机、服务器-->CPU
    2. 网络-->总线 (IP或者FC)
    3. 存储设备-->内存

    存储介质和接口

    机械硬盘

    硬盘容量 转速 缓存 平均访问时间 数据传输率

    1. 磁道
      一个硬盘的一条条轨道(0~300 或 0~1024)
    2. 扇区
      一个磁道被划分成一堆扇区,一般是8K
    3. 柱面
      不同磁盘同一磁道所组成的存储块(条带化存储)
    4. 磁头数
      两倍于盘片
    5. 硬盘容量
      硬盘容量 = 柱面数(表示每面盘面上有几条磁道,一般总数是1024) × 磁头数(表示盘面数) × 扇区数(表示每条磁道有几个扇区,一般总数是64)× 扇区(存储基本单元,大小一般为512B/4KB)
    固态硬盘

    FLASH 支持热拔插,用在可移动U盘,固态硬盘
    DDR 系统化的存储,不能掉电

    接口
    1. ATA接口(老)
      并行口 IDE磁盘 133MBps
    2. SCSI接口
      并行 打印机 录影机 适应性广 传输距离高 价格昂贵
      320MB/s
    3. SATA接口(新)
      串行 150MBps~300MBps 移动硬盘 支持热拔插
    4. SAS接口(新)
      串行 全双工 双端口 1GBps
    5. NL-SAS
      采用SAS接口、SATA盘体,很明显性能在两者之间
    6. FC接口
      长距离传输

    RAID技术(独立冗余磁盘阵列)

    关键技术
    • 更有效的数据组织-->分条、并行
    • 数据安全保护功能-->校验、镜像
    条带

    磁盘中单个或者多个连续扇区构成一个条带。

    分条

    同一个磁盘阵列的多个磁盘驱动器上的相同位置(编号)的条带。
    分条中硬盘容量、接口、速率都要保持一致

    校验
    异或校验冗余备份
    常见RAID级别
    1. RAID 0

      数据条带化,无校验。存储性能最高,至少使用两个磁盘。
    2. RAID 1 (数据库)

      数据镜像,无校验。使用两组磁盘互补镜像。写的速度不高,读的速度和RAID 0相似,可以同时读。允许单个磁盘故障,可靠性高。
    3. RAID 3

      数据条带化读写,奇偶校验信息存放在专用硬盘。写的瓶颈被卡在校验盘,速度较慢。读的性能和RAID 0相似。
    4. RAID 5

      数据条带化,奇偶校验信息分布式存放。每块磁盘上既有数据信息也有校验信息。写的速度比RAID 3快,读的性能和RAID 0相似。
    5. RAID 6
      带有两种校验的独立磁盘结构,需要至少N+2(N>2)个磁盘。一般用在数据可靠性要求极高的应用场合。
    • RAID 6 P+Q
      两次RAID 5 的过程,分布式存放校验信息。可以允许两块盘同时出故障。
    • RAID 6 DP
      单独的两个校验盘,先做一次RAID 3,再进行一次斜向校验。出故障概率比较高。
    1. RAID 10
    1. RAID 50
    RAID写惩罚
    RAID 写惩罚
    0 1
    1 2
    5 4
    6 6
    10 2

    IOPS (Input/Output Operations Per Second),即每秒进行读写(I/O)操作的次数,多用于数据库等场合,衡量随机访问的性能。由寻道时间、旋转延迟和数据传输时间三部分构成。一般以每秒处理的I/O请求数量为单位。

    寻道时间Tseek是指将读写磁头移动至正确的磁道上所需要的时间。寻道时间越短,I/O操作越快,目前磁盘的平均寻道时间一般在3-15ms。

    旋转延迟Trotation是指盘片旋转将请求数据所在扇区移至读写磁头下方所需要的时间。旋转延迟取决于磁盘转速,通常使用磁盘旋转一周所需时间的1/2表示。比如,7200 rpm的磁盘平均旋转延迟大约为60*1000/7200/2 = 4.17ms,而转速为15000 rpm的磁盘其平均旋转延迟约为2ms。

    数据传输时间Transfer是指完成传输所请求的数据所需要的时间,它取决于数据传输率,其值等于数据大小除以数据传输率。目前IDE/ATA能达到133MB/s,SATA II可达到300MB/s的接口数据传输率,数据传输时间通常远小于前两部分时间。

    因此,理论上可以计算出磁盘的最大IOPS,即IOPS = 1000 ms/ (Tseek + Troatation),忽略数据传输时间。假设磁盘平均物理寻道时间为3ms, 磁盘转速为7200,10K,15K rpm,则磁盘IOPS理论最大值分别为,
    IOPS = 1000 / (3 + 60000/7200/2) = 140
    IOPS = 1000 / (3 + 60000/10000/2) = 167
    IOPS = 1000 / (3 + 60000/15000/2) = 200


    存储配置流程

    LUN是英文Logical Unit Number的缩写,指逻辑单元号。RAID由几个硬盘组成,从整体上来看相当于由多个硬盘组成的一个大的物理卷,在物理卷的基础上可以按照指定容量创建一个或多个逻辑单元,这些逻辑单元称作LUN,可以作为映射给主机的基本块设备。

    备份

    备份结构——LAN BASED
    基于LAN的备份,数据流和控制流都基于LAN传输,占用网络资源的备份模式。


    备份结构——LAN FREE
    不占用LAN资源,控制流基于LAN传输,数据流不经过LAN,由专用的高速存储网络承担。

    常见的备份方式

    方式 描述
    D2D Disk to Disk,磁盘阵列到磁盘阵列(昂贵)
    D2T 磁盘阵列到物理磁带(风险高)
    D2V 磁盘阵列到虚拟磁带(中和)
    D2D2T 每个月备份,每一年归档

    常见的备份类型——[主要采用差异性备份]

    容灾

    低·数据级容灾
    中·应用级容灾
    高·业务级容灾
    容灾备份的指标

    1. RPO(Recovery Point Objective)
      能恢复到的时间点,值越小说明备份时间距离现在越近
    2. RTO(Recovery Time Objective)
      恢复需要时间,值越小说明中断时间越小

    相关文章

      网友评论

          本文标题:【华为网络技术大赛】储存基础原理

          本文链接:https://www.haomeiwen.com/subject/tkujkftx.html