美文网首页我爱编程
Hadoop源码编译

Hadoop源码编译

作者: Vampire0 | 来源:发表于2018-05-23 22:14 被阅读0次

1、使用rz命令将软件包上传到software文件夹下面

2、使用tar -xzvf命令将hadoop源码包解压,切换到解压好的文件夹查看文件

3、查看里面的BUILDING.txt文件,里面有编译的要求

java的安装

1、使用rz命令将jdk上传到/usr/java目录下

2、输入tar  -xzvf将下载好的jdk文件进行解压

[root@hadoop000 java]# tar  -xzvf   jdk-8u45-linux-x64.gz

3、由于解压后的文件夹名字过长,可以使用mv命令将文件夹名字修改为jdk

4、修改配置文件/etc/profile,将JAVA_HOME和PATH添加进去,保存

export JAVA_HOME=/usr/java/jdk

export PATH=$JAVA_HOME/bin:$PATH

5、输入命令   [root@hadoop000 java]#source  /etc/profile   让配置文件生效

6、最后输入java  -version,出现下图信息则显示安装成功

Maven安装

1、使用rz命令将jdk上传到/opt/software目录下

2、输入unzip命令将下载好的jdk文件进行解压

3、修改配置文件/etc/profile,将MAVEN_HOME和PATH添加进去,保存

export MAVEN_HOME=/opt/software/apache-maven-3.3.9

export PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

4、 输入命令   [root@hadoop000 software]#source  /etc/profile   让配置文件生效

5、切换到解压好的maven文件夹的conf目录下,查看setting.xml文件,设置maven的仓库地址,默认为家目录下面的.m2文件夹

6、mvn -version查看是否安装成功

[root@hadoop001 ~]# mvn -version

Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00)Maven home: /opt/software/apache-maven-3.3.9Java version: 1.8.0_45, vendor: Oracle CorporationJava home: /usr/java/jdk1.8.0_45/jreDefault locale: en_US, platform encoding: UTF-8OS name: "linux", version: "2.6.32-431.el6.x86_64", arch: "amd64", family: "unix"

Findbugs安装

1、rz将安装上传,unzip命令解压

2、修改配置文件/etc/profile,将FINDBUGS_HOME和PATH添加进去,保存

export FINDBUGS_HOME=/opt/software/findbugs-1.3.9

export PATH=$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

3、输入命令   [root@hadoop000 software]#source  /etc/profile   让配置文件生效

4、输入findbugs -version查看安装是否成功

[root@hadoop000 software]# findbugs -version

1.3.9


Protobuf安装

1、rz将安装上传,使用tar -xzvf命令解压

2、使用[root@hadoop001 software]# cd protobuf-2.5.0切换到安装目录下

3、[root@hadoop001 protobuf-2.5.0]# yum install -y gcc gcc-c++ make cmake使用yum下载

4、[root@hadoop001 protobuf-2.5.0]# ./configure --prefix=/usr/local/protobuf

5、[root@hadoop001 protobuf-2.5.0]# make && make install

6、修改配置文件/etc/profile,将PROTOC_HOME和PATH添加进去,保存

export PROTOC_HOME=/usr/local/protobuf

export PATH=$PROTOC_HOME/bin:$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH  


下载其他依赖

yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool

yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake

编译

1、切换到Hadoop源码的文件夹下,然后执行编译命令,开始下载maven仓库

[root@hadoop001 sourcecode]# cd hadoop-2.8.1-src

[root@hadoop001 hadoop-2.8.1-src]# mvn clean package -Pdist,native -DskipTests -Dtar

clean是将之前的清楚,-DskipTests是跳过测试,-Dtar是将编译好的压缩tar.gz文件

如下图所示表示编译成功

编译好的文件在/opt/software/hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.8.1.tar.gz,我们切换到这个目录下,使用ll命令查看hadoop-2.8.1.tar.gz文件


相关文章

网友评论

    本文标题:Hadoop源码编译

    本文链接:https://www.haomeiwen.com/subject/jkyhdftx.html