美文网首页程序员
spark 配置文件安装单机版和集群

spark 配置文件安装单机版和集群

作者: JavaEdge | 来源:发表于2019-04-23 15:31 被阅读15次

    /usr/local/Cellar/apache-spark/2.4.1/bin


    单机版安装

    修改spark的配置文件

    • slave


    • 修改 spark-env.sh


    • master端口号


    • 修改 slaves


    Environment variables可以通过每个节点的conf/spark-env.sh脚本设置每台机器的设置。例如IP地址
    注意,当Spark安装时,conf/spark-env.sh默认是不存在的。你可以复制conf/spark-env.sh.template创建它。
    可以在spark-env.sh中设置如下变量:


    相关文章

      网友评论

        本文标题:spark 配置文件安装单机版和集群

        本文链接:https://www.haomeiwen.com/subject/cuspgqtx.html