美文网首页
存储数据的保护:RAID 和 纠删码(二)

存储数据的保护:RAID 和 纠删码(二)

作者: wayyyy | 来源:发表于2022-02-12 19:50 被阅读0次

前面已经介绍了基本的概念,本节将分析高阶RAID(RAID5及以上)技术的隐含的数学原理。
RAID5 基于条带将数据均分成多个数据块di,然后尝试建立这些数据块之间的联系,例如使用普通的加法:
d1 + d2 + d3 + ... + dn = c
c 为基于加法生成的校验块,这样,如果任意一个数据库损坏,都可以通过求解上述式子进行恢复。但在生产中,并不会采用此种方法。原因在于普通加法会产生进位,也就是说,校验块占用的存储空间一般会大于任意数据块所占用的存储空间。
所以,对于计算机而言,一般采用异或运算:

image.png

假设一块磁盘坏了(红色,原先正确数据为1,现在错误数据变为0),那么我们可以通过剩下的磁盘中的数据经过异或运算得到故障磁盘的原始数据

image.png

RAID6 或者更高阶的RAID原理上和RAID5类似,实际上是利用条带中 n个数据块通过编码得到 m 个校验块(m为允许同时故障的最大磁盘数目)。如果出现磁盘故障,通过编码的逆过程可以还原得到所有缺失的数据块,从而实现数据恢复。

image.png

从数学上说,上述问题可以转换为更一般的描述形式,即:如何基于n个可变输入,构造m个等式,使得对应的m元一次方程组有唯一解。1997 年,James S.Plank 将 引入存储系统,用于实现高阶RAID,对应的RAID技术也称为RS-RAID。简而言之,RS-RAID具体实现包括如下3个方面:

  • 基于范德蒙德矩阵计算校验和
  • 基于高斯消元法进行数据恢复
  • 基于伽罗华域执行编解码过程中所要求的算数运算

TODO


参考资料
1、https://blog.csdn.net/shelldon/article/details/54144730

相关文章

  • 存储数据的保护:RAID 和 纠删码(二)

    前面已经介绍了基本的概念,本节将分析高阶RAID(RAID5及以上)技术的隐含的数学原理。RAID5 基于条带将数...

  • 存储数据的保护:RAID 和 纠删码(一)

    数据存储在单个磁盘上,存在以下固有缺陷: 访问速度慢,单一的I/O接口,无法实现并发 容量小,尽管单个磁盘容量不断...

  • 【转】Reed Solomon纠删码

    原文链接 纠删码是存储领域常用的数据冗余技术, 相比多副本复制而言, 纠删码能够以更小的数据冗余度获得更高数据可靠...

  • 纠删码(Erasure Code)浅析

    【摘要】:副本策略和纠删码是存储领域常见的两种数据冗余技术。相比于副本策略,纠删码具有更高的磁盘利用率。 Reed...

  • 存储数据的保护:多副本

    对于存储数据的保护,我们一般采用副本的方式和纠删码的方式。 副本一般采用三副本,为什么是三副本?

  • 论文研读(2019.1~2019.2)

    最近比较关注纠删码存储系统中数据更新的文章,做个小总结,以便理清思路。 Shen,et al.《Cross-Rac...

  • HDFS简介

    分布式文件系统 特点 容忍硬件故障,3个副本,RS(x,y)纠删码 RS(10,4)膨胀率1.4 RAID5 流式...

  • [Sheepdog] 纠删码

  • HDFS纠删码

    1.目的 副本是昂贵的--在HDFS中默认的3副本机制有200%的存储空间和其它的资源(比如:网络带宽)开销。然而...

  • ceph设计原理与实现(纠删码、多副本)

    1、生产环境很少使用备份数高于2的纠删码2、创建和获取纠删码模板:ceph osd erasure-code-pr...

网友评论

      本文标题:存储数据的保护:RAID 和 纠删码(二)

      本文链接:https://www.haomeiwen.com/subject/lfbycrtx.html