美文网首页
Spark集群部署

Spark集群部署

作者: 扣篮的左手 | 来源:发表于2018-06-06 15:40 被阅读0次

    Spark下载以及目录

    下载Spark
    下载源码
    解压:

    进入到目录当中:

    bin目录
    conf目录
    需要配置的有两个文件:slaves.templatespark-env.sh.template
    start-all.sh启动Spark集群

    修改配置文件

    spark-env.sh当中

    # 配置Java环境变量
    export JAVA_HOME=/export/servers/jdk1.8.0_65/
    # 配置master的地址
    export SPARK_MASTER_HOST=node-1
    # 配置master的端口
    export SPARK_MASTER_PORT=7077
    

    指定slaves:
    在配置文件当中添加相应的从节点:


    给Linux添加Spark环境变量:
    /etc/profile中添加:


    将Spark分发到其它节点上:

    $PWD指代和当前目录一致

    同时分发到node-3中:



    将/etc/profile也copy到node-2和node-3上:


    到这里,整个Spark集群就安装好了。


    启动Spark集群

    在主节点上启动:
    在Spark下的sbin目录中,运行这个./start-all.sh脚本,不要运行start-all.sh,这个是Hadoop启动的命令。


    node-1是Master,node-2和node-3是Worker:

    使用jps命令可以查看到node-1上启动了Master,其余两个节点启动了Worker。

    查看Spark的Web管理界面

    访问:node-1:8080



    注意这里的URL是在spark-env.sh当中配置的。
    Drivers可以理解为客户端,针对每一个Application都有一个Drivers。
    整个集群的核数就是Worker核数的总和。内存同理。

    停止Spark集群

    对集群的关闭:


    使用jps命令查看,Spark进程已经结束。

    相关文章

      网友评论

          本文标题:Spark集群部署

          本文链接:https://www.haomeiwen.com/subject/zvdbsftx.html