注：本文涉及书中4.5小结
基于文件的数据结构
有两种文件格式：
1. SequenceFile
2. MapFile
· SequenceFile
SequenceFile为二进制键/值提供了一个持久数据结构，适合日志文件。
可以把SequenceFile当做一个容器，把所有文件打包到SequenceFile类中可以高效的对小文件进行存储和处理。
1. SequenceFile的写操作
通过createWriter()静态方法可以创建SequenceFile对象，并返回SequenceFile.writer实例。
SequenceFile中的key和value可以是任意类型Writable或者是自定义Writable类型。
补充
结合4.5.1小节范例4-14，SequenceFile的写操作的步骤如下：
1）创建Configuration
2）获取FileSystem
3）创建文件输出路径Path
4）调用SequenceFile.createWriter得到SequenceFile.Writer对象
5）调用SequenceFile.Writer.append追加写入文件
6）关闭流
2. SequenceFile的读操作
创建SequenceFile.Reader实例，然后反复调用next()方法迭代读取记录。
补充
结合4.5.1小节范例4-15，SequenceFile的读操作的步骤如下：
1）创建Configuration
2）获取FileSystem
3）创建文件输出路径Path
4）new一个SequenceFile.Reader进行读取
5）得到keyClass和valueClass
6）关闭流
同步点：指数据读取的实例出错后能够再一次与记录边界同步的数据流中的一个位置。
参考：https://blog.csdn.net/scgaliguodong123_/article/details/46391061
顺序文件中搜索给定位置的两种方法：
法1. 调用seek()方法
法2. 通过同步点查找记录边界：SequenceFile.Writer对象的sync(long position)方法可以将读取位置定位到position之后的下一个同步点。如果position之后没有同步了，则指向文件末尾。
3. SequenceFile的排序和合并方法
法1. MapReduce是对多个顺序文件进行排序或合并的最有效的方法。
法2. 使用SequenceFile.Sorter类中的sort()方法和merge()方法。
4. SequenceFile的格式
顺序文件有文件头和随后的一条或多条记录组成，记录之间有同步标识位。记录的内部结构取决于是否启用压缩。如下图。
块压缩(block compression)指一次性压缩多条记录。与单条记录压缩相比，压缩率更高。每一个新块的开始处都要插入同步标识。如图。
· MapFile
MapFile是已经排过序的SequenceFile，它有索引，可以按键值查找。
1. MapFile的写操作
新建一个MapFile.Writer实例，然后调用append()方法顺序写入文件内容。键必须是WritableComparable类型的实例，值必须是Writable类型的实例。
2. MapFile的读操作
（1）新建一个MapFile.Reader实例，然后调用next()方法，直到返回值为false，说明已读到文件尾。
（2）还可以用get()方法访问文件中指定key对应的数据。如果返回null，说明指定key没有相应的条目。
（3）还可以用getClosest()方法访问文件中指定key对应的数据。但在不匹配时，不会返回null，而是返回与指定键匹配的最接近的键。
3. MapFile的变种
（1）SetFile：用于存储Writable键的集合，键必须按照拍好的顺序添加。
（2）ArrayFile：键是一个整型，表示数组中元素的索引；值是一个Writable值。
（3）BloomMapFile：特别适用于稀疏文件。该实现使用一个动态的bloom过滤器来检测某个给定的键是否在map文件中，如果存在相应结果，则调用get()方法。
· 将SequenceFile转换为MapFile
MapFile相当于加入了索引和排过序的SequenceFile
本书4.5.1小节part4展示了如何对SequenceFile文件进行排序和合并
4.5.2小节的范例4-17展示了如何创建索引
网友评论