美文网首页
初识大数据(3)-YARN,单节点部署

初识大数据(3)-YARN,单节点部署

作者: William_Wei007 | 来源:发表于2019-02-25 22:06 被阅读0次

## YARN架构包含的元素:

yarn_architecture.gif
  • ResourceManager:RM

    (1)整个集群同一个时间提供服务的只有一个RM,负责集群的资源统一调度和管理。

    (2)处理客户端的请求:提交一个作业,杀死一个作业

    (3)监控我们的NM.

  • NodeManager:NM

    (1)集群中有多个nm,负责自身节点的资源管理和使用

    (2)定时向RM汇报本节点的是使用情况。

    (3)接收来自rm的各种命令,如启动Container

  • ApplicationMaster: AM

    (1)每个应用程序对应一个AM:MR ,Spark ,负责应用程序的管理。

    (2)为每个应用程序向RM申请资源,分配给内部的Task,

    (3)需要与NM通信,启动/停止Task,AM也运行在Container里面。

  • Container:

    (1)封装了cpu,memory的容器,程序都是在此容器内部进行。

    (2)也就是说其实是一个运行任务的环境的抽象。

  • client:

    (1)提交作业
    (2)查看任务的进度
    (3)杀死作业

官方网站地址

### ## 直接如何配置单个节点的yarn。。。

屏幕快照 2019-02-25 下午10.01.59.png

本身的hdfs安装路径:/usr/local/hadoop/hadoop-2.6.0-cdh5.7.0

YARN on a Single Node(单节点的配置)

跟随下面四步骤即可:

一. Configure parameters as follows

1.etc/hadoop/mapred-site.xml


<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
2.etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

以上是2个需要配置的文件。

二.接下来可以启动了。

$ sbin/start-yarn.sh

三. 验证

1)jps的方式:

 NodeManager
 ResourceManager

2)网页查看的方式:

 http://localhost(地址):8088/
 如果是阿里云记得8088加入安全组。

四. 此时见可以执行maoreduce的任务了,可以先用官方提供的例子测试一下。

我们到 
/usr/local/hadoop/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce 
这个路径下找到包含执行程序的jar包

jarName:hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar 

用hadoop jar 命令

此处比如计算pi的值

hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar  pi 3 4

上述执行结果会得到pi的值。

五.关闭 yarn

$ sbin/stop-yarn.sh

相关文章

网友评论

      本文标题:初识大数据(3)-YARN,单节点部署

      本文链接:https://www.haomeiwen.com/subject/rwvnyqtx.html