美文网首页
Sequence文件格式

Sequence文件格式

作者: 星辰fml | 来源:发表于2019-05-21 10:36 被阅读0次

    序列文件由Header(header中包含SEQ开头的标识和一个版本号)加一条或多条记录,如果有同步点的话,记录之间还有同步点。record就是一条记录

    • record
      这种格式分为不压缩和RECORD压缩:
      a、NONE:不压缩,record的存储格式为:record的长度+key的长度+key+value
      b、RECORD:record压缩,record的格式为:record的长度+key的长度+key+压缩后的value。
    • block
      这种压缩格式是将多条记录进行一起压缩,可以不断向数据块中压缩数据,直到块的字节数不小于io.seqfule.compress.blocksize属性中设置的字节数。这个值默认为1M。
      这个存储格式为:block的长度+key的长度+key+value的长度+value

    相关文章

      网友评论

          本文标题:Sequence文件格式

          本文链接:https://www.haomeiwen.com/subject/pbjdzqtx.html