美文网首页Hadoop
Windows下Eclipse配置Hadoop开发环境遇到的坑

Windows下Eclipse配置Hadoop开发环境遇到的坑

作者: Harlan1994 | 来源:发表于2016-10-24 22:24 被阅读127次

    关于Eclipse的Hadoop环境的配置,可以参考这两篇博文:
    1、Windows7下面eclipse(4.5.2)& hadoop2.7.2 开发环境配置
    2、Hadoop集群(第7期)_Eclipse开发环境设置
    以下是本人在为Eclipse配置Hadoop开发环境时遇到的坑:

    坑1:DFS Location下的文件显示没有权限(参考博文里面也有提到另一种方案):
    解决方案:修改hdfs-site.xml配置文件的dfs.permissions为false,

    <property>
       <name>dfs.permissions</name> 
       <value>false</value>
    </property>
    

    坑2:端口号的问题。在core-site.xml文件和mapred-site.xml文件配置的端口号必须对应,如下图所示:

    这是mapred-site.xml里面mapred.job.tracker的端口对应Eclipse中的Map/Reduce Master端口:


    Paste_Image.png

    这是在core-site.xml里的DFS对应的fs.defaultFS的端口,对应Eclipse中的DFS Master端口:


    Paste_Image.png

    坑3:运行WordCount示例程序,报Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "Harlan/[192.168.31.1](qq://txfile/#)"; destination host is: "hadoop":50070;的异常。
    这又是端口问题,在main方法里面传入的两个参数的IP地址要正确,并且端口号需要和core-site.xml里面的fs.defaultFS的端口号对应(这就是初学者的痛《;。;》):

    Paste_Image.png

    相关文章

      网友评论

        本文标题:Windows下Eclipse配置Hadoop开发环境遇到的坑

        本文链接:https://www.haomeiwen.com/subject/yoyhuttx.html