CDH5.3.6集群搭建

关闭集群时，使用快速休眠的方式关闭虚拟机

image.png

安装hadoop集群

1、使用课程提供的hadoop-2.5.0-cdh5.3.6.tar.gz，上传到虚拟机的/usr/local目录下。（http://archive.cloudera.com/cdh5/cdh/5/）
2、将hadoop包进行解压缩：tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz
3、对hadoop目录进行重命名：mv hadoop-2.5.0-cdh5.3.6 hadoop
4、配置hadoop相关环境变量
vi ~/.bashrc
export HADOOP_HOME=/usr/local/hadoop
export PATH=HADOOP_HOME/sbin
source ~/.bashrc
5、创建/usr/local/data目录

cd hadoop/ect/hadoop 切换到该目录

修改core-site.xml

<property>
<name>fs.default.name</name>
<value>hdfs://sparkproject1:9000</value>
</property>

修改hdfs-site.xml

<property>
<name>dfs.name.dir</name>
<value>/usr/local/data/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/data/datanode</value>
</property>
<property>
<name>dfs.tmp.dir</name>
<value>/usr/local/data/tmp</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

mv mapred-site.xml.template mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

修改yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>sparkproject1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

修改slaves文件
sparkproject2
sparkproject3

设置sparkproject1为master，设置sparkproject2，sparkproject3为slave

在另外两台机器上搭建hadoop

1、使用如上配置在另外两台机器上搭建hadoop，可以使用scp命令将sparkproject1上面的hadoop安装包和~/.bashrc配置文件都拷贝过去。（scp -r hadoop root@sparkproject2:/usr/local）
2、要记得对.bashrc文件进行source，以让它生效。
3、记得在sparkproject2和sparkproject3的/usr/local目录下创建data目录。

使用scp命令
Linux scp命令用于Linux之间复制文件和目录。
scp是 secure copy的缩写, scp是linux系统下基于ssh登陆进行安全的远程文件拷贝命令。
scp -r hadoop root@sparkproject2:/usr/local
scp -r ~/.bashrc root@sparkproject2:~/

启动hadoop集群

1、格式化namenode：在sparkproject1上执行以下命令，hdfs namenode -format
2、启动hdfs集群：start-dfs.sh�3、验证启动是否成功：jps、50070端口
sparkproject1：namenode、secondarynamenode
sparkproject2：datanode
sparkproject3：datanode
4、hdfs dfs -put hello.txt /hello.txt

启动成功

image.png

启动yarn集群

1、启动yarn集群：start-yarn.sh�2、验证启动是否成功：jps、8088端口
sparkproject1：resourcemanager、nodemanager
sparkproject2：nodemanager
sparkproject3：nodemanager

启动成功

image.png