1、安装bzip2以及各种依赖
yum -y install wget gcc gcc-c++ bzip2 bzip2-devel zlib zlib-devel openssl-devel curl curl-devel
2.安装cmake
操作步骤如下：
1.下载cmake安装包
wget https://cmake.org/files/v3.11/cmake-3.11.0.tar.gz
2.解压安装包
tar -zxvf cmake-3.11.0.tar.gz
3.安装cmake
进入解压好的cmake-3.11.0目录
./bootstrap && make && make install
【make install不指定目录则都安装在/usr/local/bin下】
3.安装protobuf
步骤如下：
1.下载protobuf安装包
wget https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz
2.解压安装包
tar -zxvf protobuf-2.5.0.tar.gz
3.安装protubuf
cd protobuf-2.5.0
./configure --prefix=/protobuf-2.5.0/
make && make install
4.配置环境变量
pwd 【安装文件在--profix指定的/protobuf-2.5.0/ 文件夹下】
/protobuf-2.5.0/bin
vim /etc/profile
export PATH=/protobuf-2.5.0/bin:$PATH
source /etc/profile
protoc --version
libprotoc 2.5.0
4.安装snappy
步骤如下：
1.下载上传snappy-1.1.1.tar.gz安装包
自己网上找
2.解压安装包
tar -zxvf snappy-1.1.1.tar.gz
3.安装snappy
cd snappy-1.1.1/
./configure
make && make install
4.检查snappy是否安装完成
ll /usr/local/lib/ | grep snappy
-rw-r--r-- 1 root root 329988 Apr 2 12:58 libsnappy.a
-rwxr-xr-x 1 root root 953 Apr 2 12:58 libsnappy.la
lrwxrwxrwx 1 root root 18 Apr 2 12:58 libsnappy.so -> libsnappy.so.1.2.0
lrwxrwxrwx 1 root root 18 Apr 2 12:58 libsnappy.so.1 -> libsnappy.so.1.2.0
-rwxr-xr-x 1 root root 164296 Apr 2 12:58 libsnappy.so.1.2.0
5、编译Hadoop
步骤如下：
1.hadoop 编译前将hadoop本地库加入到环境变量
vim /etc/profile
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
source /etc/profile
2.从官网下载hadoop的源码包，解压
tar -zxvf hadoop-2.5.0-src.tar.gz
3.输入如下命令开始编译，编译过程较长，耐心等待
cd hadoop-2.5.0-src/
mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e -X
出现问题
1.下载的源码记得看下jdk对不对的上，这个是2.5的hadoop 然后开始是1.8的jdk报错，换成1.7的好了
2.用这个命令mvn package -Pdist,native -DskipTests -Dtar 不然会编译卡住不动
- 把native下面的内容移动到hadoop下面 cp -r native/ /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/lib
4.hadoop checknative查看 都是true就是加进去了
网友评论