美文网首页
mapreduce执行错误Mapper.<init>

mapreduce执行错误Mapper.<init>

作者: Skye_kh | 来源:发表于2016-11-03 20:19 被阅读124次

title: mapreduce执行错误Mapper.<init>错误
date: 2016/11/3 20:07:23
tags: MapReduce
categories: 大数据


参考
http://blog.itpub.net/30066956/viewspace-2107549/

错误详情:

16/11/02 21:37:26 INFO mapreduce.Job: Task Id : attempt_1476760655616_0574_m_000027_2, Status : FAILED
Error: java.lang.RuntimeException: java.lang.NoSuchMethodException: com.hdu.recommend.tools.CopyData$QLMapper.<init>()
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:131)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:742)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)
Caused by: java.lang.NoSuchMethodException: com.hdu.recommend.tools.CopyData$QLMapper.<init>()
    at java.lang.Class.getConstructor0(Class.java:2849)
    at java.lang.Class.getDeclaredConstructor(Class.java:2053)
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:125)
    ... 7 more

解决:
注意Mapper 与 Reducer 类写成内部类,一定要加static !!!!

相关文章

  • mapreduce执行错误Mapper.<init>

    title: mapreduce执行错误Mapper. 错误date: 2016/11/3 20:07:23tag...

  • MapReduce工作机制和序列化

    MapReduce执行流程 MapReduce的执行步骤 1、Map任务处理 1.1 读取HDFS中的文件。每一行...

  • 尚硅谷大数据技术之Oozie

    4.3 案例三:Oozie调度MapReduce任务目标:使用Oozie调度MapReduce任务分步执行:1)找...

  • MapReduce 执行流程

    本文转载自:https://www.cnblogs.com/hipercomer/p/4516581.html 宏...

  • MapReduce执行过程

    一:执行流程 MapReduce存在以下4个独立的实体。 1. JobClient:运行于client node,...

  • Hadoop-Eclipse mapreduce测试WordCo

    MapReduce编程重点把握 MapReduce核心概念 思考几个问题 词频统计wordcount的具体执行过程...

  • MapReduce 原理

    1. mapreduce 的运行机制(Hadoop 2) 首先看下 mapreduce 在 yarn 中的执行流程...

  • 常见Hive调优策略

    Hive是否执行mapreduce 因为有些sql语句是不需要走mapreduce的。比如:select *、li...

  • Hive优化

    核心思想:把Hive SQL 当做Mapreduce程序去优化 注意:以下SQL不会转为Mapreduce来执行,...

  • Hive 工作原理

    Hive SQL任务本质上最后是转化成了 MapReduce 任务执行。 MapReduce 实现 SQL 常见操...

网友评论

      本文标题:mapreduce执行错误Mapper.<init>

      本文链接:https://www.haomeiwen.com/subject/qrriuttx.html