美文网首页
eclipse用于hadoop开发(一、相关环境配置)

eclipse用于hadoop开发(一、相关环境配置)

作者: 小T呀 | 来源:发表于2020-03-23 15:47 被阅读0次

    一、Win、eclipse添加hadoop开发依赖
    (一)Win添加hadoop开发依赖
    缺少winutils.exe和hadoop.dll,报错
    Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Did not find winutils.exe: {}
    解决方案:
    下载apache-hadoop-3.1.1-winutils
      第一步:将hadoop2.7.5文件夹拷贝到一个没有中文没有空格的路径下面
      第二步:在windows上面配置hadoop的环境变量: HADOOP_HOME,并将%HADOOP_HOME%\bin添加到path中
      第三步:把hadoop2.7.5文件夹中bin目录下的hadoop.dll文件放到系统盘: C:\Windows\System32 目录
      第四步:关闭windows重启
    (二)eclipse添加hadoop开发依赖
    方法一:手动添加
    ①工具栏project——properties
    ②java build path——libraries——add library
    ——user library——new——起名myhdfslib——myhdfslib中添加jar包:
    ——add extermal jars——逐级找到hadoop安装目录/usr/local/hadoop/hadoop-3.1.1/share/hadoop/下(./hdfs——核心包hadoop-hdfs-3.1.1.jar + ./hdfs/lib下所有hdfs核心包依赖 + ./common——核心包hadoop-common-3.1.1.jar + ./common/lib下所有common核心包依赖 )另:(所有jar依赖包)
    ③逐级apply and close
    方法二:maven网络配置(暂无)

    二、Eclipse上快捷键的修改
    我的class文件中键入main后Alt+/没反应
    windows ——preferences ——General —— Keys, 在Scheme的下面有一个搜索框,在搜索框里面输入“Content asist”(我的Eclipse在这个搜索框里不能输入,下面的按钮抢占了焦点,所以我选择了复制粘贴,注意搜索时注意大小写),选中“Content asist”这一项后,将Binding项改为“ALT+/”(按下“/”键即可更改),将When项选择成Editing Text即可


    快捷键的修改

    三、Eclipse查看hadoop源代码出现Source not found

    Source not found
    ①添加java源码文件
    window—— preferences—— Java—— Installed JREs ——
    Edit——……\rt.jar,Source Attachment——我的src.zip路径是/opt/jdk1.8.0_231/src.zip
    image.png
    ②添加hadoop源码文件
    Attach Source...弹出Source Attachment Configuration——External location——找到hadoop-3.1.1.zip并添加
      首先由于我之前只有hadoop-3.1.1.tar.gz,没有src文件,现下载hadoop-3.1.1-src.tar.gz

    hadoop-3.1.1-src.tar.gz文件的下载?
    (1)目前已经不提供镜像库了,直接在官网上下载
    (2)直接通过wget得到的是HTML文件??可通过file hadoop-3.1.1-src.tar.gz查看
    (3)下载到win系统,再传输到linux系统

    转换为.zip文件?
    (1)解压hadoop-3.1.1-src.tar.gz得到文件夹hadoop-3.1.1-src
    (2)把文件夹hadoop-3.1.1-src压缩成hadoop-3.1.1-src.zip(sudo zip -r hadoop-3.1.1-src.zip hadoop-3.1.1-src)

    此时java及hadoop源代码都可以查看啦

    相关文章

      网友评论

          本文标题:eclipse用于hadoop开发(一、相关环境配置)

          本文链接:https://www.haomeiwen.com/subject/mqswyhtx.html