黑猴子的家：Hadoop 完全分布式部署

1、SSH免密登录

$https://www.jianshu.com/p/2e7b920ce353

2、集群部署规划

""	node1	node2	node3
HDFS	NameNode	""	SecondaryNameNode
""	DataNode	DataNode	DataNode
YARN	""	ResourceManager	""
""	NodeManager	NodeManager	NodeManager

3、基本配置文件

core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:9000</value>
</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.8.2/data/tmp</value>
</property>

hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144
export HADOOP_LOG_DIR=/opt/module/hadoop/logs

hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<!-- 指定secondarynamenode位置 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node3:50090</value>
</property>

slaves

node1
node2
node3
尖叫提示： 必须手写保证没有空格，首次编辑用vim编辑器防止出现乱码

yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144
export YARN_LOG_DIR=/opt/module/hadoop/logs

yarn-site.xml

<!-- reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node2</value>
</property>

mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

mapred-site.xml

<!-- 指定mr运行在yarn上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

4、在集群上分发以上所有文件

[victor@node1 ~]$ cd /opt/module/hadoop-2.8.2/  
[victor@node1 hadoop-2.8.2]$ pwd
/opt/module/hadoop-2.8.2
[victor@node1 hadoop-2.8.2]$ rsync -rvl etc/hadoop/* victor@node2:/opt/module/hadoop-2.8.2/etc/hadoop/
[victor@node1 hadoop-2.8.2]$ rsync -rvl etc/hadoop/* victor@node3:/opt/module/hadoop-2.8.2/etc/hadoop/

5、查看文件分发情况

[victor@node3 hadoop-2.8.2]$ cat etc/hadoop/slaves
注意：查看每台机器的slaves

6、集群启动

(1) 如果集群是第一次启动，需要格式化namenode

[victor@node1 hadoop-2.8.2]$ bin/hdfs namenode -format

(2) 启动HDFS

[victor@node1 hadoop-2.8.2]$ sbin/start-dfs.sh

(3) 查看

[victor@node1 hadoop-2.8.2]$ jps
4163 NameNode
4484 Jps
4213 DataNode

[victor@node2 hadoop-2.8.2]$ jps
3268 DataNode
3298 Jps

[victor@node2 hadoop-2.8.2]$ jps
3321 DataNode
3383 SecondaryNameNode
3564 Jps

(4) 启动yarn

[victor@node2 hadoop-2.8.2]$ sbin/start-yarn.sh
注意：Namenode和ResourceManger如果不是同一台机器，不能在NameNode所在机器上启动 yarn，应该在ResouceManager所在的机器上启动yarn。

7、基本性能测试

$https://www.jianshu.com/p/1c2ad4dcac9a