在查看数据块的如何处理之前，我们需要更仔细地了解Hadoop如何存储数据。在Hadoop中，文件由一个一个的记录组成，最终由mapper任务一个一个的处理。
Hadoop通过InputSplit映射Blocks，然后交由Mapper处理InputSplit分片
例如，示例数据集包含有关1987至2008年间美国境内已完成航班的信息。如果要下载数据集可以打开如下网址： http://stat-computing.org/dataexpo/2009/the-data.html 。每一年都会生成一个大文件（例如：2008年文件大小为108M），在每个文件中每单独的一行都代表一次航班信息。换句话说，一行代表一个记录。
1. Block
块是以 block size 进行划分数据。 因此，如果群集中的 block size 为 128 MB，则数据集的每个块将为 128 MB，除非最后一个块小于block size（文件大小不能被 block size 完全整除）。例如下图中文件大小为513MB，513%128=1，最后一个块（e）小于block size，大小为1MB。 因此，块是以 block size 的硬切割，并且块甚至可以在逻辑记录结束之前结束（blocks can end even before a logical record ends）。
假设我们的集群中block size 是128 MB，每个逻辑记录大约100 MB（假设为巨大的记录）。所以第一个记录将完全在一个块中，因为记录大小为100 MB小于块大小128 MB。但是，第二个记录不能完全在一个块中，因此第二条记录将出现在两个块中，从块1开始，在块2中结束。
2. InputSplit
如果分配一个Mapper给块1，在这种情况下，Mapper不能处理第二条记录，因为块1中没有完整第二条记录。因为HDFS不知道文件块中的内容，它不知道记录会什么时候可能溢出到另一个块（because HDFS has no conception of what’s inside the file blocks, it can’t gauge when a record might spill over into another block）。
而InputSplit就是解决这种跨越块边界的那些记录的问题，Hadoop使用逻辑分片Split来表示存储在文件块中的数据，称为输入拆分（InputSplit）。
当MapReduce的作业客户端计算InputSplit时，它会计算出块中第一个完整记录的开始位置和最后一个记录的结束位置。在最后一个记录不完整的情况下，InputSplit 会包括下一个块的位置信息和完成该记录所需的数据的字节偏移（In cases where the last record in a block is incomplete, the input split includes location information for the next block and the byte offset of the data needed to complete the record）。
下图显示了数据块和InputSplit之间的关系：
InputSplit
块是磁盘中的数据存储的物理块，其中InputSplit不是物理数据块。 它是一个Java类，指向块中的开始和结束位置。 因此，当Mapper尝试读取数据时，它清楚地知道从何处开始读取以及在哪里停止读取。 InputSplit的开始位置可以在块中开始，在另一个块中结束。
InputSplit代表了逻辑记录边界，在MapReduce执行期间，Hadoop扫描块并创建InputSplits，并且每个InputSplit将被分配给一个Mapper进行处理。
网友评论