hadoop的搭建笔记2-完全分布式搭建

分三步走：
一、机器的规划

屏幕快照 2018-02-27 13.56.08.png

datanode 和nodemanager每台机器都搭配 一个作为数据存储 ，一个数据分析
领导者： 一号机分配namenode
二号机 resourcemanager
三号机secondarymanager
一号机多一个historyserver

规划好以后就开始搭建，不在之前的伪分布式里面进行了，这里重新建一个app文件夹来进行 屏幕快照 2018-02-27 14.03.10.png

二、搭建
分三小步：1.前期准备
2.修改那三个-env.sh文件
3.修改相关的 -site.xml文件

开始：
解压到app目录下， 然后删除share下的doc

屏幕快照 2018-02-27 14.09.07.png

修改的三个文件：


1· hadoop-env.sh
2· yarn-env.sh
3· mapred-env.sh文件

配置上java 的路径
export JAVA_HOME="java的解压路径"

然后是修改四个-site.xml文件 请参考《hadoop的搭建笔记》那里

屏幕快照 2018-02-27 14.19.03.png

1.core-site.xml
2.hdfs-site.xml
3.yarn-site.xml
4.mapred-site.xml

1.core-site.xml：

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://lyanmei001:8020</value> //一个默认的入口
</property>
<property>
<name>hadoop.tmp.dir</name> //缓存目录
<value>/opt/moduels/hadoop-2.5.0/data/tmp</value> //没有这个目录 需要去先把这个目录建好
</property>
</configuration>

所以先退出回来建缓存文件夹 屏幕快照 2018-02-27 14.40.13.png

2.hdfs-site.xml
<property>
<name>dfs.replication</name> //待定 应该如图配置的是权限是否开启
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name> //secondarynamenode的配置
<value>yanmei003:50090</value> //放到的三号机上面
</property>

屏幕快照 2018-02-27 14.45.47.png

3.mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>       //历史服务器  在一号机上  所以要加上
    <name>mapreduce.jobhistory.address</name>
    <value>yanmei001:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>yanmei001:19888</value>
</property>

屏幕快照 2018-02-27 14.49.43.png

记得改mapred-site.xml的名字
用mv 移动的时候就可以改名了

屏幕快照 2018-02-27 14.52.37.png

4.yarn-site.xml

屏幕快照 2018-02-27 14.54.19.png

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>yanmei002</value>
</property>

<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name> //缓存时间
<value>604800</value>
</property>
</configuration>

解释点：
<property>
<name>yarn.resourcemanager.hostname</name> //resourcemanager 在2号机器上 yanmei002
<value>yanmei002</value>
</property>

到这搭建就完成了 ，不过只是在一号机器上搭建了 ，
其他机器怎么办了，两个方法 ：
1.去解压重复以上步骤
2.直接拷贝过去 （先在个机器上建好存储拷贝内容的文件夹）

屏幕快照 2018-02-27 15.16.41.png 屏幕快照 2018-02-27 15.18.02.png

命令： scp -r hadoop-2.5.0/ yanmei002:/opt/app //2号机器

scp -r hadoop-2.5.0/ yanmei003:/opt/app //3号机器

完了以后记得格式化namenode

bin/hdfs namenode -format
查看data/tmp文件

屏幕快照 2018-02-27 15.23.58.png

第三步、启动各个进程
按照机器规划来启动各个进程
启动hadoop类型：
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
sbin/hadoop-daemon.sh start secondarynamenode
启动yarn：
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
启动历史服务器：
启动：sbin/mr-jobhistory-daemon.sh start historyserver
关闭命令：
sbin/mr-jobhistory-daemon.sh stop historyserver