美文网首页我爱编程
Hadoop源码编译

Hadoop源码编译

作者: Vampire0 | 来源:发表于2018-05-23 22:14 被阅读0次

    1、使用rz命令将软件包上传到software文件夹下面

    2、使用tar -xzvf命令将hadoop源码包解压,切换到解压好的文件夹查看文件

    3、查看里面的BUILDING.txt文件,里面有编译的要求

    java的安装

    1、使用rz命令将jdk上传到/usr/java目录下

    2、输入tar  -xzvf将下载好的jdk文件进行解压

    [root@hadoop000 java]# tar  -xzvf   jdk-8u45-linux-x64.gz

    3、由于解压后的文件夹名字过长,可以使用mv命令将文件夹名字修改为jdk

    4、修改配置文件/etc/profile,将JAVA_HOME和PATH添加进去,保存

    export JAVA_HOME=/usr/java/jdk

    export PATH=$JAVA_HOME/bin:$PATH

    5、输入命令   [root@hadoop000 java]#source  /etc/profile   让配置文件生效

    6、最后输入java  -version,出现下图信息则显示安装成功

    Maven安装

    1、使用rz命令将jdk上传到/opt/software目录下

    2、输入unzip命令将下载好的jdk文件进行解压

    3、修改配置文件/etc/profile,将MAVEN_HOME和PATH添加进去,保存

    export MAVEN_HOME=/opt/software/apache-maven-3.3.9

    export PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

    4、 输入命令   [root@hadoop000 software]#source  /etc/profile   让配置文件生效

    5、切换到解压好的maven文件夹的conf目录下,查看setting.xml文件,设置maven的仓库地址,默认为家目录下面的.m2文件夹

    6、mvn -version查看是否安装成功

    [root@hadoop001 ~]# mvn -version

    Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00)Maven home: /opt/software/apache-maven-3.3.9Java version: 1.8.0_45, vendor: Oracle CorporationJava home: /usr/java/jdk1.8.0_45/jreDefault locale: en_US, platform encoding: UTF-8OS name: "linux", version: "2.6.32-431.el6.x86_64", arch: "amd64", family: "unix"

    Findbugs安装

    1、rz将安装上传,unzip命令解压

    2、修改配置文件/etc/profile,将FINDBUGS_HOME和PATH添加进去,保存

    export FINDBUGS_HOME=/opt/software/findbugs-1.3.9

    export PATH=$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

    3、输入命令   [root@hadoop000 software]#source  /etc/profile   让配置文件生效

    4、输入findbugs -version查看安装是否成功

    [root@hadoop000 software]# findbugs -version

    1.3.9


    Protobuf安装

    1、rz将安装上传,使用tar -xzvf命令解压

    2、使用[root@hadoop001 software]# cd protobuf-2.5.0切换到安装目录下

    3、[root@hadoop001 protobuf-2.5.0]# yum install -y gcc gcc-c++ make cmake使用yum下载

    4、[root@hadoop001 protobuf-2.5.0]# ./configure --prefix=/usr/local/protobuf

    5、[root@hadoop001 protobuf-2.5.0]# make && make install

    6、修改配置文件/etc/profile,将PROTOC_HOME和PATH添加进去,保存

    export PROTOC_HOME=/usr/local/protobuf

    export PATH=$PROTOC_HOME/bin:$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH  


    下载其他依赖

    yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool

    yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake

    编译

    1、切换到Hadoop源码的文件夹下,然后执行编译命令,开始下载maven仓库

    [root@hadoop001 sourcecode]# cd hadoop-2.8.1-src

    [root@hadoop001 hadoop-2.8.1-src]# mvn clean package -Pdist,native -DskipTests -Dtar

    clean是将之前的清楚,-DskipTests是跳过测试,-Dtar是将编译好的压缩tar.gz文件

    如下图所示表示编译成功

    编译好的文件在/opt/software/hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.8.1.tar.gz,我们切换到这个目录下,使用ll命令查看hadoop-2.8.1.tar.gz文件


    相关文章

      网友评论

        本文标题:Hadoop源码编译

        本文链接:https://www.haomeiwen.com/subject/jkyhdftx.html