美文网首页
Spark运行模式之Yarn模式(重点)

Spark运行模式之Yarn模式(重点)

作者: 大数据小同学 | 来源:发表于2020-07-23 10:21 被阅读0次

    Yarn模式

    概述

    Spark客户端直接连接Yarn,不需要额外构建Spark集群。有yarn-client和yarn-cluster两种模式,主要区别在于:Driver程序的运行节点。
    yarn-client:Driver程序运行在客户端,适用于交互、调试,希望立即看到app的输出
    yarn-cluster:Driver程序运行在由RM(ResourceManager)启动的AP(APPMaster)适用于生产环境。


    image

    安装使用

    1. 修改hadoop配置文件yarn-site.xml,添加如下内容:
    [liujh@hadoop102 hadoop]$ vi yarn-site.xml
    
      <!--是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是true -->
            <property>
                    <name>yarn.nodemanager.pmem-check-enabled</name>
                    <value>false</value>
            </property>
            <!--是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是true -->
            <property>
                    <name>yarn.nodemanager.vmem-check-enabled</name>
                    <value>false</value>
            </property>
    
    1. 修改spark-env.sh,添加如下配置:
    [liujh@hadoop102 conf]$ vi spark-env.sh
    YARN_CONF_DIR=/opt/module/hadoop-2.7.2/etc/hadoop
    
    1. 分发配置文件
    [liujh@hadoop102 conf]$ xsync /opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml
    [liujh@hadoop102 conf]$ xsync spark-env.sh
    
    1. 执行一个程序
    [liujh@hadoop102 spark]$ bin/spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode client \
    ./examples/jars/spark-examples_2.11-2.1.1.jar \
    100
    

    注意:在提交任务之前需启动HDFS以及YARN集群。

    日志查看

    1. 修改配置文件spark-defaults.conf
    添加如下内容:
    spark.yarn.historyServer.address=hadoop102:18080
    spark.history.ui.port=18080
    
    1. 重启spark历史服务
    [liujh@hadoop102 spark]$ sbin/stop-history-server.sh 
    stopping org.apache.spark.deploy.history.HistoryServer
    [liujh@hadoop102 spark]$ sbin/start-history-server.sh 
    starting org.apache.spark.deploy.history.HistoryServer, logging to /opt/module/spark/logs/spark-liujh-org.apache.spark.deploy.history.HistoryServer-1-hadoop102.out
    
    1. 提交任务到Yarn执行
    [liujh@hadoop102 spark]$ bin/spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode client \
    ./examples/jars/spark-examples_2.11-2.1.1.jar \
    100
    
    1. Web页面查看日志


      image
      image.png

    Mesos模式(了解)

    Spark客户端直接连接Mesos;不需要额外构建Spark集群。国内应用比较少,更多的是运用yarn调度。

    几种模式对比

    模式 Spark安装机器数 需启动的进程 所属者
    Local 1 Spark
    Standalone 3 Master及Worker Spark
    Yarn 1 Yarn及HDFS Hadoop
    关注微信公众号
    简书:https://www.jianshu.com/u/0278602aea1d
    CSDN:https://blog.csdn.net/u012387141

    相关文章

      网友评论

          本文标题:Spark运行模式之Yarn模式(重点)

          本文链接:https://www.haomeiwen.com/subject/oasjyhtx.html