美文网首页工作生活
大数据-数据存储(RAID)

大数据-数据存储(RAID)

作者: JavaHub | 来源:发表于2019-07-01 11:22 被阅读0次

数据存储需要考虑三个问题:
1.数据存储容量的问题
2.数据读写速度的问题
3.数据可靠性的问题

如果你接触过安防行业,一定知道监控设备(海康,大华,霍尼韦尔等)中磁盘存储阵列(RAID):

image.png

设服务器有 N 块磁盘,RAID 0是数据在从内存缓冲区写入磁盘时,根据磁盘数量将数据分成 N 份,这些数据同时并发写入 N 块磁盘,使得数据整体写入速度是一块磁盘的 N 倍;读取的时候也一样,因此 RAID 0 具有极快的数据读写速度。但是 RAID 0 不做数据备份,N 块磁盘中只要有一块损坏,数据完整性就被破坏,其他磁盘的数据也都无法使用了。

image.png

RAID 1是数据在写入磁盘时,将一份数据同时写入两块磁盘,这样任何一块磁盘损坏都不会导致数据丢失,插入一块新磁盘就可以通过复制数据的方式自动修复,具有极高的可靠性。

image.png

结合 RAID 0 和 RAID 1 两种方案构成了RAID 10,它是将所有磁盘 N 平均分成两份,数据同时在两份磁盘写入,相当于 RAID 1;但是平分成两份,在每一份磁盘(也就是 N/2 块磁盘)里面,利用 RAID 0 技术并发读写,这样既提高可靠性又改善性能。不过 RAID 10 的磁盘利用率较低,有一半的磁盘用来写备份数据。

一般情况下,一台服务器上很少出现同时损坏两块磁盘的情况,在只损坏一块磁盘的情况下,如果能利用其他磁盘的数据恢复损坏磁盘的数据,这样在保证可靠性和性能的同时,磁盘利用率也得到大幅提升。
顺着这个思路,RAID 3可以在数据写入磁盘的时候,将数据分成 N-1 份,并发写入 N-1 块磁盘,并在第 N 块磁盘记录校验数据,这样任何一块磁盘损坏(包括校验数据磁盘),都可以利用其他 N-1 块磁盘的数据修复。
但是在数据修改较多的场景中,任何磁盘数据的修改,都会导致第 N 块磁盘重写校验数据。频繁写入的后果是第 N 块磁盘比其他磁盘更容易损坏,需要频繁更换,所以 RAID 3 很少在实践中使用
5。
相比 RAID 3,RAID 5是使用更多的方案。RAID 5 和 RAID 3 很相似,但是校验数据不是写入第 N 块磁盘,而是螺旋式地写入所有磁盘中。这样校验数据的修改也被平均到所有磁盘上,避免 RAID 3 频繁写坏一块磁盘的情况。

如果数据需要很高的可靠性,在出现同时损坏两块磁盘的情况下(或者运维管理水平比较落后,坏了一块磁盘但是迟迟没有更换,导致又坏了一块磁盘),仍然需要修复数据,这时候可以使用RAID 6。
RAID 6 和 RAID 5 类似,但是数据只写入 N-2 块磁盘,并螺旋式地在两块磁盘中写入校验信息(使用不同算法生成)。

收尾:
RAID 可以看作是一种垂直伸缩,一台计算机集成更多的磁盘实现数据更大规模、更安全可靠的存储以及更快的访问速度。而 HDFS 则是水平伸缩,通过添加更多的服务器实现数据更大、更快、更安全存储与访问。

相关文章

  • 大数据-数据存储(RAID)

    数据存储需要考虑三个问题:1.数据存储容量的问题2.数据读写速度的问题3.数据可靠性的问题 如果你接触过安防行业,...

  • day21课堂笔记:Raid

    Raid介绍 RAID分为两类: 软RAID RAID5:对性能,数据安全,存储,都有要求,但不高.潘月铎坏的几率...

  • 磁盘阵列RAID原理、种类及性能优缺点对比

    磁盘阵列(Redundant Arrays of Independent Disks,RAID) 1. 存储的数据...

  • Raid

    为什么要做raid 为了保证数据完整性,防止数据丢失 raid(磁盘阵列) 最常用的raid级别:0、1、5、10...

  • 一、系统安装和分区经验

    磁盘RAID经验 系统盘:raid1数据盘:raid5/raid1/raid10 linux系统版本选择之我见 推...

  • 分布式数据保障

    为防止数据丢失,单机情况下用RAID来保障数据,RAID 5使用较多,需要一块硬盘来保留校验码,数据丢失时通过校验...

  • 老码农眼中的存储

    存储,是我们码农每天都要打交道的事情,而当我们面对RAID,SAN,对象存储,分布式数据库等技术的时候,又往往似是...

  • Linux_122_raid缺点

    raid的缺点raid磁盘阵列技术,提高硬盘的读写效率,以及数据的安全raid的缺点在于· 当你配置好了raid磁...

  • RAID

    RAID 廉价磁盘冗余阵列 并发访问+数据备份 RAID 0根据磁盘数量将数据分为N份,并发写入N块磁盘。优点:读...

  • mysql数据结构相关

    数据结构其实分2大部分: 存储结构:数据根据什么规则存储,比如索引存储的时候要根据树的规则去存储。 逻辑结构:数据...

网友评论

    本文标题:大数据-数据存储(RAID)

    本文链接:https://www.haomeiwen.com/subject/cdnwcctx.html