1、下载maven
http://mirror.bit.edu.cn/apache/maven/maven-3/ 到该地址下下载tar.gz文件
将该文件解压
tar -zxf .....tar.gz
mv apache-maven-3.3.9/ /app/lib/(或者/usr/lib/下,没有测试)
2、修改系统变量的配置文件profile
sudo /etc/profile
在JDK配置文件下方添加如下命令
export MAVEN_HOME=/app/lib/apache-maven-3.3.9
export PATH=$PATH:$MAVEN_HOME/bin
编译配置文件
source /etc/profile
测试是否安装成功
mvn -version
3、安装svn、 autoconf automake libtool cmake、ncurses-devel、openssl-devel、gcc*
使用yum 安装
sudo yum install svn
提示该命令已经被废除,
Yum command has been deprecated, redirecting to '/usr/bin/dnf install svn'.
See 'man dnf' and 'man yum2dnf' for more information.
To transfer transaction metadata from yum to DNF, run:
'dnf install python-dnf-plugins-extras-migrate && dnf-2 migrate'
使用man dnf命令发现,今后dnf将成为替代yum的新的API命令。可以直接使用 sudo dnf install svn 代替上述命令。
(实测,该命令没有显示被废除的提示)
4、安装 protobuf
因为是谷歌的部件,因此不能直接在官方网站下载,为大家找到一个百度云的连接
http://pan.baidu.com/s/1pJlZubT
该步骤是在上一步安装完gcc*后才能安装,下载后将该文件解压,移到目录下
tar -zxf ....gz
mv ... /app/lib
进入到运行目录
cd /app/lib/protobuf-2.5.0/
每一个都运行时间较长,耐心等待。
sudo ./configure
sudo make
sudo make check
sudo make install
成功后
使用protoc,会返回missing input file,表示运行成功。
下一步就是编译运行Hadoop了,上述命令中的具体含义,下次再进行分析和解释。
备注:对于protobuffer是谷歌的一种新的定义的传输数据结构,是使用二进制编码。类似对比是json、xml
接下来是使用svn进行Hadoop源码的下载和编译,用时较长,大概四十分钟
1、创建
cd /app
mkdir compile
svn checkout http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.2.0获取时间较长,大小约75.3M
2、因为据说hadoop-2.2.0有一个模块问题,需要修复
在第一步完成之后,进入到release-2.2.0/hadoop-common-project/hadoop-auth/pom.xml
添加独立包
直接修改hadoop-common-project/hadoop-auth/pom.xml,其实就是少了一个包,添加一个dependency:
org.mortbay.jetty
jetty-util
test
3、进入到release-2.2.0目录下,即Hadoop根部木下执行代码
mvn package -Pdist,native -DskipTests –Dtar(备注,据说不能拷贝进入,会报错误,需要手动输入)过程会比较长,约半个小时
网友评论