2.3.2 Java MapReduce
Mapper类
Mapper类是一个泛型类型，有四个形参类型，分别指定map函数的输入键、输入值、输出键、输出值的类型
public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>
Hadoop本身提供一套可优化网络序列化传输的基本类型，不直接使用Java内嵌的类型。
在org.apache.hadoop.io包下
LongWritable——Long
Text——String
IntWritable——Integer
map()方法的输入是一个键和一个值，还提供Context实例用于输出内容的写入。
protected void map(KEYIN key, VALUEIN value, Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>.Context context) throws IOException, InterruptedException {
context.write(key, value);
}
Reduce类
reduce函数同样四个形式参数类型指定输入和输出类型。
public class Reducer<KEYIN, VALUEIN, KEYOUT, VALUEOUT>
reduce函数的输入类型必须匹配map函数的输出类型。
Job类
Job对象指定作业执行规范。可以用它控制整个作业的运行。
- 在Job对象的setJarByClass()方法传递一个类，Hadoop利用这个类查找包含它的jar文件，进而找到相关的jar文件。
- 调用FileInputFormat类的静态方法addInputPath()定义输入数据的路径（可以是单个文件、一个目录、多个文件，可多次调用）。
- 调用FileInputFormat类的静态方法setOutputPath()指定输出路径（只能有一个输出路径）。这个方法指定的是reduce函数输出文件的写入目录（运行作业前目录不应该存在）。
- 通过setMapperClass()和setReducerClass()方法指定要用的map类型和reduce类型（也就是我们自己实现的类）。
- 通过setOutputKeyClass()和setOutputValueClass()方法控制reduce函数的输出类型（必须和Reduce类产生的相匹配）。
- 最后，Job中的waitForCompletion()方法提交作业并等待执行完成。参数为boolean类型的标识，为true时，作业会把进度信息写到控制台。
- waitForCompletion()方法返回一个boolean值，表示执行的成败。
2.4.1 数据流
MapReduce作业（job）是客户端需要执行的一个工作单元，包括输入数据、MapReduce程序和配置信息。
Hadoop将作业分成若干个任务（task）来执行，其中包括两类任务：map任务和reduce任务。这些任务运行在集群的节点上，通过YARN调度。
Hadoop将MapReduce的输入数据划分成等长的小数据块，称为输入分片（input split）。
Hadoop为每个分片构建一个map任务，并由该任务运行用户的map函数。
- 一个合理的分片大小趋向于HDFS的一个块的大小，默认128MB。
为什么最佳分片的大小应该与块大小相同？
因为它是确保可以存储在单个节点上的最大输入块的大小。如果分片跨越两个数据块，那么对于任何一个HDFS节点，基本上不可能同时存储这两个数据库块，因此分片中的部分数据需要通过网络传输到map任务运行的节点。与使用本地数据运行整个map任务相比，这种方式显然效率更低。
reduce任务不具备数据本地化的优势，单个reduce任务的输入通常来自于所有mapper的输出。
网友评论