一、Hadoop的源码编译
1.使用命令 cd /opt/sourcecode 进入 sourcecode目录
然后将在Windows下载好的hadoop-2.8.1-src.tar.gz 安装包上传到Linux
使用命令（tar -xzvf hadoop-2.8.1-src.tar.gz）解压安装包
解压后的hadoop-2.8.1-src文件
2.将目录切换到hadoop-2.8.1-src，然后使用命令（ll）查看所有文件
主要注意BUILDING.txt文件
使用命令（cat BUILDING.txt)查看 BUILDING.txt文件的内容，可以看到文件要求安装的软件
使用命令安装目前还没有安装好的依赖
yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake
3.所有需要的软件都下载安装好以后，则进行编译hadoop
使用命令：mvn clean package -Pdist,native -DskipTests -Dtar
最后所有的文件都显示SUCCESS,
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 31:41 min
[INFO] Finished at: 2017-12-10T11:55:28+08:00
[INFO] Final Memory: 166M/494M
[INFO] ------------------------------------------------------------------------
则编译成功。
注1：download需要3.5h；
注2：所有的文件都直接下载到pom.xml的m2目录下，直接使用别人的m2压缩包也可以达到同样的效果
二、Hadoop的部署
1.先上传在Windows上已经下载好的hadoop-2.8.1.tar.gz压缩包，并解压
2.解读解压文件
修改hadoop-2.8.1的用户和用户组
输入命令 ll hadoop-2.8.1 ，查看hadoop-2.8.1的内容
查看bin目录和sbin目录的文件，然后使用 rm -f bin/*.cmd 和 rm -f sbin/*.cmd 将bin和sbin目录下的 以cmd为后缀的文件全部删除。
注：jar存放在 share/hadoop/hdfs 目录中
3.配置环境变量
使用命令 source /etc/profile 生效环境变量，然后再which hadoop确认是否部署成功。
如下图，则表示成功
4.配置core-site.xml 和 hdfs-site.xml
etc/hadoop/core-site.xml
etc/hadoop/hdfs-site.xml
5. ssh无密码操作
6.格式化文件系统 Format the filesystem
$ bin/hdfs namenode -format——
7.启动HDFS Start NameNode daemon and DataNode daemon
$ sbin/start-dfs.sh
输入命令 cd /opt/software/hadoop-2.8.1/sbin 进入sbin目录，然后输入命令 ./start-dfs.sh启动HDFS。
如果在启动时出现如下图错误，则表示我们JAVA_HOME没有生效。
我们进入etc/hadoop目录，进入 hadoop-env.sh脚本文件以绝对路径重新配置 java home
再重新启动
注：源代码包——压缩包带src，中间没有jar包
编译好的组件——不带src，带bin
一般源代码包比较大，编译好的组件包比较小
如下图：两个压缩包的大小有明显的差别
网友评论