定义
MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架
MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上
优点
1）易于编程
它简单的实现了一些接口，就可以完成一个分布式程序
2）良好的扩展性
当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力
3）高容错性
其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于这个任务运行失败，而且这个过程不需要人工参与，完全是由Hadoop内部完成的
4）适合PB级以上海量数据的离线处理
可以实现上千台服务器集群并发工作，提供数据处理能力
缺点
1）不擅长实时计算
无法像Mysql一样，在毫秒或者秒级内返回结果
2）不擅长流式计算
流式计算的输入数据是动态的，而MapReduce的输入数据集是静态的，不能动态变化。这是因为MapReduce自身的设计特点决定了数据源必须是静态的
3）不擅长DAG（有向图）计算
多个应用程序存在依赖关系，后一个应用程序的输入为前一个的输出。在这种情况下，MaoReduce并不是不能做，而是使用后每个MapReduce作业的输出结果都会写入到磁盘，造成大量的磁盘IO，导致性能非常低下
MapReduce进程
一个完整的MapReduce程序在分布式运行时有三类实例进程：
1）MrAppMaster：负责整个程序的过程调度以及状态协调
2）MapTask：负责Map阶段的整个数据处理流程
3）ReduceTask：负责Reduce阶段的整个数据处理流程
MapReduce数据类型
MapReduce编程规范
用户编写程序分成三个部分：Mapper，Reducer 和 Driver
1）Mapper阶段
(1) 用户自定义Mapper要继承自己的父类
(2) Mapper的输入数据是KV对的形式（KV的类型可自定义）
(3) Mapper中的业务逻辑写在map()方法中
(4) Mapper的输出数据是KV对的形式（KV的类型可自定义）
(5) map()方法（MapTask进程）对每一个<K, V>调用一次
2）Reducer阶段
(1) 用户自定义的Reducer要继承自己的父类
(2) Reducer的输入数据类型对应Mapper的输出数据类型，也是KV
(3) Reducer的业务逻辑卸载reduce()方法中
(4) ReduceTask进程对每一组相同k的<k, v>组调用一次reduce()方法
3）Driver阶段
相当于YARN集群的客户端，用于提交我们整个程序到YARN集群，提交的是封装了MapReduce程序相关运行参数的job对象
网友评论