美文网首页
【HDFS】如果文件的lastblock的最后一个chunk不满

【HDFS】如果文件的lastblock的最后一个chunk不满

作者: 小北觅 | 来源:发表于2023-12-18 14:23 被阅读0次

    如题,本文试图弄清楚这样一个问题:
    如果文件的最后一个block的最后一个chunk里的数据不足512字节,那么还会为其生成checksum么?

    先给出答案:会生成。 接着我们再去探究过程。

    客户端在发送数据之前,为每一个chunk生成4字节的checksum。如果不满一个chunk,也是会生成4字节的checksum的。
    相关代码在FSOutputSummer#writeChecksumChunks方法里:

    此方法作用是为给定data chunks 生成checksum,然后输出chunks&checksum。
    此方法调用点有:write1、flushBuffer。

      /** Generate checksums for the given data chunks and output chunks & checksums
       * to the underlying output stream.
       */
      private void writeChecksumChunks(byte b[], int off, int len)
      throws IOException {
        // DataChecksum对象的方法, 如果NativeCrc32可用,则用native计算,
        // 如果NativeCrc32不可用,则用java.util.zip.Checksum的update方法去计算。
        // 执行完这个方法后,参数checksum字节数组会被计算出来的校验和填充。
        sum.calculateChunkedSums(b, off, len, checksum, 0);
        TraceScope scope = createWriteTraceScope();
        try {
          // 这个for循环就是为每个chunk匹配对应的checksum。writeChunk底层会写到输出流的curPacket里。
          // curPacket已经按照提前计算好的数据和checksum字节数做了slice。所以这里for循环的每次迭代都会向DFSPacket里写入一个chunk和其checksum。
          for (int i = 0; i < len; i += sum.getBytesPerChecksum()) {
            int chunkLen = Math.min(sum.getBytesPerChecksum(), len - i);
            int ckOffset = i / sum.getBytesPerChecksum() * getChecksumSize();
            writeChunk(b, off + i, chunkLen, checksum, ckOffset,
                getChecksumSize());
          }
        } finally {
          if (scope != null) {
            scope.close();
          }
        }
      }
    

    再深入了解一点,上面的writeChecksumChunks方法有一处调用点在flushBuffer里。这是个关键的方法,它的两个参数使我们需要弄懂的。

    所以这里又引申出flushBuffer的两个参数(文末会有这两个参数含义的总结,可以先去看,然后再返回到这里):

    相关文章

      网友评论

          本文标题:【HDFS】如果文件的lastblock的最后一个chunk不满

          本文链接:https://www.haomeiwen.com/subject/xgjigdtx.html