美文网首页
hadoop window10环境下本地调试配置

hadoop window10环境下本地调试配置

作者: 东泽 | 来源:发表于2018-01-10 00:52 被阅读0次

    1.在myeclipse中配置新建自定义的library,将hadoop-2.7.2.tar.gz解压后的jar包导入(注:类似-test-xx.jar 和 -src-xx.jar的包分别是测试和源码包可以不导入 )新建项目后,在build path 中添加自定义的library


    image.png
    image.png

    2.配置hadoop的环境变量


    image.png
    image.png

    3.检查Java环境和Hadoop环境


    image.png

    4.下载win10 64位环境 Hadoop-2.7.2对应的hadoop.dll和winutils.exe
    (解决运行时 空指针异常问题 注意:只使用于 win10 64位 hadoop-2.7环境 )
    https://pan.baidu.com/s/1jJNV0J8
    将/bin目录下的文件copy到自己的安装bin目录下

    5.异常问题

    org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)
    导入源码包后发现这一行报错


    image.png

    必须要修改源码,直接return true 即可

    解决方法:
    不需要下载hadoop-2.7.2.src.tar.gz文件,直接在项目中建立同名包和同名文件,将NativeIO.class里的代码拷贝修改即可


    image.png

    相关文章

      网友评论

          本文标题:hadoop window10环境下本地调试配置

          本文链接:https://www.haomeiwen.com/subject/rejnnxtx.html