美文网首页
从头安装3--spark

从头安装3--spark

作者: 丁逸 | 来源:发表于2017-08-16 16:56 被阅读0次

    个人备注网页, 不喜勿扰

    1.解压spark
    [root@base ~]# tar -zxf downloads/spark-2.1.1-bin-hadoop2.7.tgz
    2.为方便以后,改名
    [root@base ~]# mv spark-2.1.1-bin-hadoop2.7 spark
    3.修改spark-env.sh
    [root@base ~]#cd spark/conf
    [root@base spark]#ls -all

    如果有spark-env.sh这个文件,有则跳过下面这段代码,没有则执行

    [root@base conf]# mv spark-env.sh.template spark-env.sh
    [root@base conf]# vi spark-env.sh
    在 spark-env.sh 中增加:

    export SPARK_LOCAL_IP=master
    export SPARK_MASTER_HOST=master #完成都说是SPARK_MASTER_IP,在此版本中不好使.
    export SPARK_WORKER_MEMORY=1g
    export SCALA_HOME=/root/scala-2.11.0-RC4
    export JAVA_HOME=/root/jdk1.7.0_80
    export SPARK_HOME=/root/spark
    

    4.运行测试
    [root@base spark]# ./sbin/start-all.sh
    5.页面访问
    http://192.168.10.109:8080
    Workers 中有workerID
    Address为192.168.10.109
    能够正确访问,有相关信息则启动成功
    6.关闭服务
    [root@base spark]# ./sbin/stop-all.sh

    相关文章

      网友评论

          本文标题:从头安装3--spark

          本文链接:https://www.haomeiwen.com/subject/jqwdlxtx.html