如题,本文试图弄清楚这样一个问题:
如果文件的最后一个block的最后一个chunk里的数据不足512字节,那么还会为其生成checksum么?
先给出答案:会生成。 接着我们再去探究过程。
客户端在发送数据之前,为每一个chunk生成4字节的checksum。如果不满一个chunk,也是会生成4字节的checksum的。
相关代码在FSOutputSummer#writeChecksumChunks
方法里:
此方法作用是为给定data chunks 生成checksum,然后输出chunks&checksum。
此方法调用点有:write1、flushBuffer。
/** Generate checksums for the given data chunks and output chunks & checksums
* to the underlying output stream.
*/
private void writeChecksumChunks(byte b[], int off, int len)
throws IOException {
// DataChecksum对象的方法, 如果NativeCrc32可用,则用native计算,
// 如果NativeCrc32不可用,则用java.util.zip.Checksum的update方法去计算。
// 执行完这个方法后,参数checksum字节数组会被计算出来的校验和填充。
sum.calculateChunkedSums(b, off, len, checksum, 0);
TraceScope scope = createWriteTraceScope();
try {
// 这个for循环就是为每个chunk匹配对应的checksum。writeChunk底层会写到输出流的curPacket里。
// curPacket已经按照提前计算好的数据和checksum字节数做了slice。所以这里for循环的每次迭代都会向DFSPacket里写入一个chunk和其checksum。
for (int i = 0; i < len; i += sum.getBytesPerChecksum()) {
int chunkLen = Math.min(sum.getBytesPerChecksum(), len - i);
int ckOffset = i / sum.getBytesPerChecksum() * getChecksumSize();
writeChunk(b, off + i, chunkLen, checksum, ckOffset,
getChecksumSize());
}
} finally {
if (scope != null) {
scope.close();
}
}
}
再深入了解一点,上面的writeChecksumChunks方法有一处调用点在flushBuffer里。这是个关键的方法,它的两个参数使我们需要弄懂的。
所以这里又引申出flushBuffer的两个参数(文末会有这两个参数含义的总结,可以先去看,然后再返回到这里):
网友评论