centos6.7 编译hadoop hdfs 2.8.5

操作系统环境centos6.7 x86_64
jdk版本：1.8.0_172（java 最低版本1.7）
hadoop：2.8.5

hadoop的默认native lib是32位，所以在启动和使用hdfs命令时会出现如下信息，

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

如果只是使用hadoop的非hdfs的功能，可以通过日志信息屏蔽掉这个提示；如果要使用hdfs的功能，就需要重新编译hadoop。hadoop的下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.5/，编译hadoop之前，需安装一些组件：

1，安装组件

#yum install –y autoconf automake libtool
#yum install –y glibc-headers
#yum install –y gcc
#yum install –y gcc-c++
#yum install –y lzo-devel zlib-devel
#yum install –y openssl-devel

2，安装cmake

下载地址：http://www.cmake.org/files/v2.8/cmake-2.8.10.2.tar.gz，安装路径为/opt/cmake

#mkdir -p /opt/cmake
#cd /opt/cmake
#wget http://www.cmake.org/files/v2.8/cmake-2.8.10.2.tar.gz
# tar -xvf cmake-2.8.10.2.tar.gz
#ln -s cmake-2.8.10.2 cmake
#cd cmake
# ./bootstrap
#gmake
#gmake install

3，安装protobuf

下载地址：https://github.com/protocolbuffers/protobuf/releases?after=v3.0.0-alpha-1（hadoop-2.8.5使用protobuf的最低版本是2.5）

#mkdir –p /opt/protobuf
#tar –xvf protobuf-2.5.0.tar
#ln –s protobuf-2.5.0 protobuf
#./configure --prefix=/usr/protobuf
#make
#make install

安装完成，将protobuf配置到环境变量，可以在/etc/profile文件末尾添加，然后测试一下安装：

#protoc –version

输出内容：libprotoc 2.5.0

4，安装maven

使用maven3.0.0以上版本，下载地址：http://www-eu.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz，安装之前确保已配置java环境变量。

#mkdir -p /opt/maven
#wget http://www-eu.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz
#tar –xvf apache-maven-3.5.4-bin.tar.gz
#ln –s apache-maven-3.5.4 maven

将maven以同样的方式添加到系统环境变量，并配置maven镜像，可以是apache，或则ali的镜像。

5，编译hadoop

#mkdir -p /opt/hadoop
#cd /opt/hadoop
#tar -xvf hadoop-2.8.5-src.tar.gz
#ln –s hadoop-2.8.5-src hadoop-src
#cd hadoop-src
#mvn package -Pdist,native -DskipTests -Dtar

等待hadoop编译完成，在hadoop-disk/target下，可以看到编译完成的hadoop文件

将hadoop-2.8.5拷贝到/opt/hadoop/下

#cp hadoop-2.8.5 /opt/hadoop/
#cd /opt/hadoop
#ln -s hadoop-2.8.5 hadoop

6，配置伪分布式hadoop

按照haddop官网的配置方式，实现最简配置：
1，编辑hadoop-env.sh，在文件中配置如下信息：

export JAVA_HOME=/usr/jdk/instances/jdk1.8.0_172
export HADOOP_LOG_DIR=/opt/hadoop/logs/pid_dir
export HADOOP_PID_DIR=/opt/hadoop/logs/pid

2，编辑core-site.xml，在configuration节点下添加如下内容

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop/tmp</value>
        </property>

3，编辑hdfs-site.xml，在configuration节点下添加如下内容

        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

4，设置面密码登录

#ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#chmod 0600 ~/.ssh/authorized_keys

5，初始化

#cd /opt/hadoop/hadoop/bin
#./hadoop namenode -format

6，启动

#cd /usr/hadoop/hadoop/sbin
#./start-ds.sh

服务启动后，检查是否存在warning信息，同时使用http://localhost:50070/查看