大数据学习八：hadoop编译

1、编译hadoop所需软件，hadoop-2.8.1.src.tar.gz、apache-maven-3.3.9-bin.zip、findbus-1.3.9.zip、protobuf-2.5.0.tar.gz ,放到/opt/software目录下，官网地址  https://github.com/apache/hadoop/blob/trunk/BUILDING.txt

2、安装maven，其中配置文件在./conf/setting.xml

#cd /etc/software

#unzip apache-maven-3.3.9-bin.zip

#vi /etc/profile , 

export MVN_HOME=/opt/software/apache-maven-3.3.9

export PATH=$MVN_HOME/bin:$PATH

#source /etc/profile

#mvn --version

3、安装findbus

#cd /etc/software

#unzip findbus-1.3.9.zip

#vi /etc/profile

exoprt FINDBUGS_HOME=FINDBUGS_HOME=/opt/software/findbugs-1.3.9

export PATH=$FINDBUGS_HOME/bin:$MVN_HOME/bin:$JAVA_HOME/bin:/opt/mysql/mysql-5.7.22-el7-x86_64/bin:$PATH

#source /etc/profile

#findbugs -version

3、安装protobuf，用于编译.proto文件为目标语言如C++

#cd /etc/software

#tar -xvzf protobuf-2.5.0.tar.gz

#chown root:root protobuf-2.5.0    #用于解决tar解压没有用户和属组的问题

#yum install -y gcc gcc-c++ make cmake

#./protobuf-2.5.0/configure --prefix=/usr/local/protobuf   #编译protobuf到/usr/local/protobuf里

# make && make install       #  &&命令先后执行

#vi /etc/profile

export PROTOC_HOME=/usr/local/protobuf

export PATH=$PROTOC_HOME/bin:$FINDBUGS_HOME/bin:$MVN_HOME/bin:$JAVA_HOME/bin:/opt/mysql/mysql-5.7.22-el7-x86_64/bin:$PATH

#source /etc/profile

#protoc --version

4、其他依赖，注意yum只能单session使用，clone的seesion无法使用，会导致僵尸进程

#yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool

#yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake

5、编译hadoop,编译完成后的tar包路径：/opt/software/hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.8.1.tar.gz ，共186M

#cd /opt/software/hadoop-2.8.1-src     #该目录下有pom.xml文件

#mvn clean package -Pdist,native -DskipTests -Dtar