13-Hadoop高级

Hadoop的HDFS HA、Yarn HA集群部署

1.HDFS

NN SNN(secondary)

热备

NN(active)  挂了

NN(standby)--》active

Zookeeper选举的 奇数 2n+1 至少3

<= 10  3台

10~100 7台

>100  9/11台

HDFS HA

hdfs dfs -ls /

    hdfs://ip:9000/

代码或者shell脚本:

命名服务: nameservice1(CDH)

          mycluster 配置文件 192.168.0.5  192.168.0.6

hdfs dfs -ls hdfs://mycluster/

core-site.xml

hdfs-site.xml

yarn-site.xml

slaves

Yarn HA

存储 HDFS HIVE HBase

计算 hive sql、MR、Spark

资源调度 Yarn

HBase读写

青云: https://ke.qq.com/course/302442?tuin=11cffd50

https://console.qingcloud.com

3台 3个外网IP

青云控制1个用户

1个外网IP+3台机器

1.VPC环境准备和集群机器准备

2.hosts修改

3.ssh多台机器信任关系 http://blog.itpub.net/30089851/viewspace-1992210/

4.

hadoop001:

ZK1

DN1

JN1

ZKFC

NN

NM

RM

hadoop002:

ZK1

DN1

JN1

ZKFC

NN

NM

RM

hadoop003:

ZK1

DN1

JN1

NM