美文网首页
Spark启动命令

Spark启动命令

作者: 不积小流_无以成江海 | 来源:发表于2019-03-29 16:27 被阅读0次
    • 启动Master
    sbin/start-master.sh
    
    • 启动spark-shell
    bin/spark-shell
    
    • 启动Worker
    sbin/start-slave.sh spark://master的主机名:7077
    
    • local模式运行任务
    bin/spark-submit --master   local[4]  --class WorldCount  /mnt/e/repository/com/baidu/wge/spark-learn/1.0-SNAPSHOT/spark-learn-1.0-SNAPSHOT.jar
    
    • 伪分布式运行任务
    bin/spark-submit   --class   org.apache.spark.examples.SparkPi   --master   spark://liuzuwei:7077   examples/jars/spark-examples_2.11-2.4.0.jar
    

    相关文章

      网友评论

          本文标题:Spark启动命令

          本文链接:https://www.haomeiwen.com/subject/ndtrbqtx.html