## YARN架构包含的元素:
yarn_architecture.gif-
ResourceManager:RM
(1)整个集群同一个时间提供服务的只有一个RM,负责集群的资源统一调度和管理。
(2)处理客户端的请求:提交一个作业,杀死一个作业
(3)监控我们的NM.
-
NodeManager:NM
(1)集群中有多个nm,负责自身节点的资源管理和使用
(2)定时向RM汇报本节点的是使用情况。
(3)接收来自rm的各种命令,如启动Container
-
ApplicationMaster: AM
(1)每个应用程序对应一个AM:MR ,Spark ,负责应用程序的管理。
(2)为每个应用程序向RM申请资源,分配给内部的Task,
(3)需要与NM通信,启动/停止Task,AM也运行在Container里面。
-
Container:
(1)封装了cpu,memory的容器,程序都是在此容器内部进行。
(2)也就是说其实是一个运行任务的环境的抽象。
-
client:
(1)提交作业
(2)查看任务的进度
(3)杀死作业
### ## 直接如何配置单个节点的yarn。。。
屏幕快照 2019-02-25 下午10.01.59.png本身的hdfs安装路径:/usr/local/hadoop/hadoop-2.6.0-cdh5.7.0
YARN on a Single Node(单节点的配置)
跟随下面四步骤即可:
一. Configure parameters as follows
1.etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
2.etc/hadoop/yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
以上是2个需要配置的文件。
二.接下来可以启动了。
$ sbin/start-yarn.sh
三. 验证
1)jps的方式:
NodeManager
ResourceManager
2)网页查看的方式:
http://localhost(地址):8088/
如果是阿里云记得8088加入安全组。
四. 此时见可以执行maoreduce的任务了,可以先用官方提供的例子测试一下。
我们到
/usr/local/hadoop/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce
这个路径下找到包含执行程序的jar包
jarName:hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar
用hadoop jar 命令
此处比如计算pi的值
hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 3 4
上述执行结果会得到pi的值。
五.关闭 yarn
$ sbin/stop-yarn.sh
网友评论