（1）znode操作总结

首先 先在node01 node02 node03上分别重新启动 切换到hadoop用户

第二步;在hadoop用户下 ，启动zookeeper的服务器端 三台电脑都需要这么做

第三步，在node01上，/usr/local/zookeeper/bin/zkCli.sh start

再./zkCli.sh start

在node02和node03上均需要这么做

ls / 查看目录结构

演示 Zookeeper的一些命令

#创建 永久节点zktest，并给一个值123

create /zktest 123

#查看永久节点的值

get /zktest

#修改永久节点的值

set /zktest 345

#演示监听

在第二台机器上

在/usr/bin/zookeeper/bin/zkCli.sh

ls /

此时切换到第一台机器，给第一台机器一个监听事件

get /zktest watch

再切换到第二台电脑，改一下第二台电脑上的zktest的值

set /zktest 678

查看第一台电脑，上面回应有提示：watchedEvent state:SyncConnected type:NodeDataChanged path:/zktest

注意：这是一个临时监听，如果此时在第二台电脑上再改变zktest的值，第一台电脑上不会再显示节点的数据改变。

#创建持久节点的子节点

在第一台电脑上

create /zktest/s1 111

ls /zktest

get /zktest/s1

#创建持久节点的顺序节点

create -s /zktest/ss1 111 #创建第一个持久顺序节点

create -s /zktest/ss2 222 #创建第二个持久顺序节点(注意创建的持久顺序节点，每次创建会在数据节点后给一个随机数字，再创建就依次递增1)

ls /zktest

#创建临时节点

create -e /zktest/e1 e1111

quit(在会话结束后，会自动删除临时节点)

在第二台机器的客户端

#自动监听临时节点

ls /zktest

create -e /zktest/eee1 eee1

在第二台机器上监听

ls /zktest watch

接着在第一台电脑退出

quit

在第二台电脑上查看，会提示目录结构的变化：WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/zktest

#测试delete命令

在第一台电脑上先连上

delete命令不能删除数据节点的子节点，如果想删除子节点，用rmr

ls /zktest

delete /zktest 提示不能删除

rmr /zktest

ls /

#更新数据的版本号

create /zktest2 test2

get /zktest2

set /zktest2 test33

会显示数据的版本号从0增加到了1

dataVersion = 1

set /zktest2 4444 0  #0是版本号

会提示版本号错误，因此需要更新的值的数据版本号要和当前的版本号匹配，变成

set /zktest2 4444 1

get /zktest2

quit

telnet node01 2181

conf #查看数据节点的配置信息

cons #输出服务器上所有客户端所有的连接信息

#测试cons

在第一台电脑上

telnet node02 2181

cons

#在node03上看node02的连接信息是什么样的

跳到node03这台电脑上

/usr/local/zookeeper/bin/zkCli.sh -server node02:2181

然后返回第一台电脑上看连接信息

telnet node02 2181

cons

此时会发现，有两台电脑连接了node02，分别是第一台和第三台机器：

/192.168.183.152:36108[0]...

/192.168.183.154:46281[1]..

#stat命令的测试 输出zookeeper的运行状态 版本，运行角色

telnet node02 2181

stat

在另外两台电脑上退出

（2）hadoop集群总结（上课随堂总结）

第二部分 Hadoop概述

1.优点：自动复制副本的内容

不拷贝数据 而是直接在数据节点上直接计算；

存储数据量巨大

流式文件访问：一次写入，多次读取，保证数据一致性。

不适合多线程写入同一个文件，只支持在文件的末尾追加，

2.HDFS架构

超大文件（PB级），流式数据写入；能够在低廉的商用机器上使用；在多线程上不能造成数据的混乱；并行处理数据，易扩展，高容错。

切分文件，存储在不同机器上

读取时，先读取文件快，文件块与节点的映射关系，通过节点读取文件

用master来管理这些存储的信息

存储的这些信息的节点是slave

活动的NameNode  备用的NameNode 管理数据的元信息 元数据同步

slave角色 datanode 一台机器启动一个datanode进程

客户端先和namenode发生交互，从amenode获得数据的元信息，datanode从返回的元信息读取或写入文件。datanode通过心跳象namenode汇报情况

3 核心概念

3.1namenode管理HDFS文件系统的命名空间

3.2standby

namenode 元数据文件：编辑日志，负责记录客户端对目录和文件的写操作；文件系统元数据检查点镜像文件：保存了文件系统中所有的目录和文件信息（目录下有哪些子目录，子文件，文件名，文件信息，

，文件副本数，文件由哪些块组成）。

3.3datanode：Slave工作节点，对数据块进行校验；周期性向namenode报告块的列表信息，namenode通过心跳感知datanode的运行状态。如果发现datanode发生故障了，就不会将客户端的I/O转发给datanode。

3.4数据块 HDFS最小存储单元

3.5Client

3.6QJM共享存储系统（元数据共享和元数据同步） 实现HDFS高可用

JournalNode集群存储edit.log在每个机器上的JournalNode存储一份。

3.6主备切换控制器，DFSZKFailoverController(ZKFC)

同时构建 HealthMonitor（监控namenode的健康状况），和ActiveStandbyElector

防止假死的脑裂情况。当NN2想切换为Active，通过隔离fencing NN2会通过远程调用SSH 自身将standby转成Active的方法

如果不成功，就使用Q-9 强行把另一个Active namenode进程杀掉

第三种情况，通过namenode上的一个脚本，强制关机。

第三部分：Yarn产生背景

降低运行和维护成本，实现数据共享和计算资源共享

Yet another resource negotiator

也实现master/slave manager

Resource manger/NodeManager

Resource manger根据客户请求在nodemanager分配container，封装了CPU，MEM这些资源。Resource manger启动NodeManager 里面的Application Master。启动后的它与Resource manger通信，申请资源。 Resource manger申请了资源后，与nodemanger通信，让nodemanger启动任务（例如Mapreduce），同时container

也执行起来。任务启动后，会通过心跳告诉Application Master，任务的运行状态。Application master监控任务的执行，如果任务执行失败，就会让其他的nodemanger执行该任务。

此外，还有一个备份的Resource manger（standby Resource manager）

在Zookeeper创建临时节点，也通过选举机制变换状态。

Nodemanger

Applicationmaster

Container

（131：25注意听）

Zookeeper主要用于name node和resource manager选主过程。

name node1和namenode2都会向Zookeeper申请创建临时节点。如果namenode1创建成功，nn2就会创建失败。

另外，Yarn中的resource manager也会向Zookeeper申请创建临时节点。如果rm1创建成功，那么rm1就是active

rm2就是standby。如果rm1挂掉了，就会被删除。rm2重新创建临时节点，创建成功了，就会从standby切换为active；

Zookeeper充当了高可选举的功能。