hdfs会对写入的所有数据计算校验和，在数据通过不可靠通道传输的时候再次计算校验和，对比就能发现数据是否损坏，常用的通过32位循环冗余校验，在hadoop中，可以通过checksum命令得到想要的文件的校验和，对同一任务和输入的输出进行校验和比较
相同文件的校验和比较
可见，输出结果是相同的
datanode负责在收到数据后存储数据前对校验和进行检查，如果datanode检测到错误，客户端会受到一个异常，处理方式以应用程序特定的方式，比如重试该操作。
客户端从datanoded读取数据时，也会检验校验和，datanode持有一个校验的日志，用来保存每个数据块被客户端校验后的最后一次验证时间。datanode自己也会定期验证所有的数据块。
hdfs存储着每个数据块的副本，因此可以通过数据副本来修复损坏的数据块。
一.数据完整性 数据检查：一般使用CRC -32方式检查数据完整性 1.对本地文件I/o的数据完整性检查 hdfs...
hdfs会对写入的所有数据计算校验和，在数据通过不可靠通道传输的时候再次计算校验和，对比就能发现数据是否损坏，常用...
注：本文涉及书中4.1小结 数据完整性 1. HDFS的完整性检测 检测数据损坏的方法：计算校验和。 以下情况HD...
简单介绍一下Hadoop中数据存储的可靠性和完整性，其中包括HDFS的容错机制、NameNode(元数据结点)的单...
数据架构 数据处理过程 案例 数据采集 数据存储 HDFS read HDFS[1] write HDFS[2] ...
数据完整性 ==数据完整性==用于定义和保护表内部或表之间数据的关系。有四种完整性:域完整性、实体完整性、参照完整...
数据完整性 如何添加数据完整性 在创建表的时候给表添加约束 完整性分类 实体完整性 域完整性 引用完整性 实体完整...
数据完整性 如何添加数据完整性 在创建表的时候给表添加约束 完整性分类 实体完整性 域完整性 引用完整性 实体完整...
1.数据库完整性 什么是数据库完整性 数据库完整性是指数据库中数据的正确性和相容性。 完整性约束条件的作用对象 列...
1.对数据库操作 2.数据库引擎 3.数据完整性 实体完整性 引用完整性 域完整性 4.创建表操作 4.1 创建表...
本文标题：hdfs数据完整性
本文链接：https://www.haomeiwen.com/subject/weigrctx.html
网友评论