学习目标

1.理解MapReduce计算框架基本思想
2.理解MaxCompute MR原理和关键步骤
3.了解MaxCompute MR Java SDK接口
4.了解MaxCompute MR 开发过程

---

什么是MR

• 映射 Mapping
• 化简 Reduce

---

什么是MaxCompute MR

MaxCompute MR框架

1.输入数据
2.Map阶段
3.Shuffle阶段
4.Reduce阶段
5.输出结果

---

MaxCompute MR SDK 核心接口

MaxCompute MR执行流程

1.提交任务
2.轮询任务状态
3.获取任务结束信息

核心接口

• MapperBase
• ReduceBase
• TaskContext
• JobClient
• RunningJob
• JobConf

---

MaxCompute MR的开发及调优

MR的开发应用流程

1.安装配置环境
2.开发MR程序
3.本地模式测试脚本
4.导出Jar包
5.上传至MaxCompute项目空间
6.在MaxCompute中使用MR

MR的优化

• 控制并发
• 提升个体
• 优化交互