MapReduce简单练习

搭好了Hadoop环境，编写了个简单的WordCount程序，接下来，写几个MapReduce程序,看看MapReduce编程究竟怎么个用法

案例1 广告数据统计

数据格式：

11  xiaoming    1   20171224
11  xiaofang    1   20171224
11  xiaofang    2   20171224
11  xiaoshan    1   20171224
11  xiaoli  1   20171224
12  zhangsan    1   20171224
12  lisi    1   20171224
31  wangwu  1   20171224
31  mazi    1   20171224
12  daming  1   20171224
11  xiaoming    1   20171224
11  xiaofang    1   20171224
11  xiaofang    2   20171224
11  xiaoshan    1   20171224
11  xiaoli  1   20171224
12  zhangsan    1   20171224
12  wangwang    1   20171224
31  xuebing 1   20171224

地域编码+用户编号+浏览类型+日期

名词解释：

• 广告曝光量：广告被浏览的次数（PV即Page View）
• 广告点击量：广告被点击的次数，常用click表示
• 广告点击率：广告点击量/广告曝光量

需求一：按天统计曝光量，按照曝光量升序和降序排列

• 简单分析：需要实现两个作业：统计曝光量、排序
• 其中排序需依赖统计结果，升序可直接依赖MapReduce框架的Shuffle进行，降序需要重写比较器
  代码就不直接粘贴了，具体看github代码,本例类为com.nanri.mapr01.AdStat
• 编译，打包，上传到集群，使用命令运行就不多作介绍，与wordcount类似

需求二：对前一天产生的数据按地区统计曝光量、点击量、点击率

• 简单分析：本需求需要实现统计多个变量，可以自定义一个实体类来存放这些变量，此为本例的练习点，代码见上述github,本例类为com.nari.adstat.MrPvClickByAreaDayApp

需求三：一批评分数据，数据样本如下

xiaoming    18  female  50

姓名 + 年龄 + 性别 + 评分

• 需求：找出不同性别不同年龄段用户对某个产品的最高打分
• 简单分析：本例练习点为自定义partition，用性别作为key，只会分为两个reduce执行，不符合要求，自定义partition，再按照年龄进行分区，这样每个年龄段的不同性别分为不同的reduce分别计算，满足要求
• 本例为com.nari.adstat.partition.ScoreStatByAgeGenderApp

在MapReduce执行也可以设置一些参数来优化任务效果

• Map Task重试次数mapreduce.map.maxattempts
• Reduce Task重试次数mapreduce.reduce.maxattempts
• 是否打开Map阶段的推测执行机制，默认为Truemapreduce.map.speculative
• 是否打开Reduce阶段的推测执行机制，默认为Truemapreduce.reduce.speculative
• 调整一个分片的最小数据量mapreduce.input.fileinputformat.split.minsize