NoClassDefFoundError：org.apache.hadoop.hdfs.server.namenode.NameNode
这个问题，困扰了我五天时间，之前使用Eclispe打包之后，在云服务器上面运行。
首先报错java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration。随之采取的操作是：将$HBASE_HOME/lib的jar包全部拷贝到$SPARK_HOME/jars下。我先保留了spark中的较新版本的jar包，发现问题变成了噩梦般的NoClassDefFoundError：Could not initialize class org.apache.hadoop.hdfs.server.namenode。(就是这个错，让我一直以为是Hadoop的配置有问题...)
然后我尝试了保留hbase的所有jar包到spark之后，发现还是一样的问题。当时我就懵了。
于是我不断Google并尝试了如下所有操作：
在spark-env.sh中加入：SPAKR_COMMON_HOME； 加入：SPARK_PREFIX；
在Hadoop中拷贝所有jar包到spark；
重新搭建云服务器集群×3；
在spark-submit命令中，指定--driver-class-path；指定--jars等等等等，总计不下二十种方法来解决这个问题。但是无一不是相同的错误：NoClassDefFoundError：Could not initialize class org.apache.hadoop.hdfs.server.namenode。在很奇怪的同时，我不甘心会因为这个问题把我活生生卡住，在考虑到是spark执行任务找不到hdfs之后，继续搜索，发现并没有哪位前辈的帖子里有涉及hadoop的jar包到spark中去，于是，我删除了spark-env.sh中的SPARK_CLASSPATH，改于在spark-submit命令中进行制定。
最终指令为：
bin/spark-submit --class package.test --jars $(echo $HBASE_HOME/lib/*.jar | tr ' ' ',' ) --master local[5] /opt/RecommendSystem-1.0.jar
--class后面的为完整报名.类名
问题解决。
网友评论