美文网首页
hadoop2.x安装maven SVN gcc等步骤

hadoop2.x安装maven SVN gcc等步骤

作者: supory | 来源:发表于2016-09-20 23:07 被阅读36次

    1、下载maven

    http://mirror.bit.edu.cn/apache/maven/maven-3/ 到该地址下下载tar.gz文件

    将该文件解压

    tar -zxf .....tar.gz

    mv apache-maven-3.3.9/ /app/lib/(或者/usr/lib/下,没有测试)

    2、修改系统变量的配置文件profile

    sudo /etc/profile

    在JDK配置文件下方添加如下命令

    export MAVEN_HOME=/app/lib/apache-maven-3.3.9

    export PATH=$PATH:$MAVEN_HOME/bin

    编译配置文件

    source /etc/profile

    测试是否安装成功

    mvn -version

    3、安装svn、 autoconf automake libtool cmake、ncurses-devel、openssl-devel、gcc*

    使用yum 安装

    sudo yum install svn

    提示该命令已经被废除,

    Yum command has been deprecated, redirecting to '/usr/bin/dnf install svn'.

    See 'man dnf' and 'man yum2dnf' for more information.

    To transfer transaction metadata from yum to DNF, run:

    'dnf install python-dnf-plugins-extras-migrate && dnf-2 migrate'

    使用man dnf命令发现,今后dnf将成为替代yum的新的API命令。可以直接使用 sudo dnf install svn 代替上述命令。

    (实测,该命令没有显示被废除的提示)

    4、安装 protobuf

    因为是谷歌的部件,因此不能直接在官方网站下载,为大家找到一个百度云的连接

    http://pan.baidu.com/s/1pJlZubT

    该步骤是在上一步安装完gcc*后才能安装,下载后将该文件解压,移到目录下

    tar -zxf ....gz

    mv ... /app/lib

    进入到运行目录

    cd /app/lib/protobuf-2.5.0/

    每一个都运行时间较长,耐心等待。

    sudo ./configure

    sudo make

    sudo make check

    sudo make install

    成功后

    使用protoc,会返回missing input file,表示运行成功。

    下一步就是编译运行Hadoop了,上述命令中的具体含义,下次再进行分析和解释。

    备注:对于protobuffer是谷歌的一种新的定义的传输数据结构,是使用二进制编码。类似对比是json、xml

    接下来是使用svn进行Hadoop源码的下载和编译,用时较长,大概四十分钟

    1、创建

    cd /app

    mkdir compile

    svn checkout http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.2.0获取时间较长,大小约75.3M

    2、因为据说hadoop-2.2.0有一个模块问题,需要修复

    在第一步完成之后,进入到release-2.2.0/hadoop-common-project/hadoop-auth/pom.xml

    添加独立包

    直接修改hadoop-common-project/hadoop-auth/pom.xml,其实就是少了一个包,添加一个dependency:

    org.mortbay.jetty

    jetty-util

    test

    3、进入到release-2.2.0目录下,即Hadoop根部木下执行代码

    mvn package -Pdist,native -DskipTests –Dtar(备注,据说不能拷贝进入,会报错误,需要手动输入)过程会比较长,约半个小时

    相关文章

      网友评论

          本文标题:hadoop2.x安装maven SVN gcc等步骤

          本文链接:https://www.haomeiwen.com/subject/uxgoettx.html