美文网首页
Centos下的Spark环境搭建

Centos下的Spark环境搭建

作者: CodeNing | 来源:发表于2018-03-19 13:15 被阅读0次

    在usr文件夹下新建java,scala,和spark文件夹,并将对应压缩包放入文件夹内

    打开终端输入命令新建文件夹:

    cd /uer

    mkdir java(scala,spark同)

    将压缩包上传至对应目录下,可使用工具

    解压jdk 

    输入命令

      tar –zxvf jdk-8u161-linux-x86.tar.gz


    解压SDK

    配置jdk环境变量,在、etc/profile下添加如下语句

    配置JDK

    然后输入source /etc/profile/保存配置,输入java –version验证sdk

    验证SDK

    解压scala

    解压scala

    配置scala

    在profile文件添加如下:

    scala配置

    验证scala

    输入

    scala –version



    验证scala

    解压spark

    输入命令

    tar –zxvf spark-2.3.0-bin-hadoop2.7.tgz


    解压spark

    配置spark

    添加如下,添加完成后保存执行命令

    source /etc/peofile



    配置spark

    进入到主目录,也就是执行下面的命令:

     cd    /opt/spark/spark-2.3.0-bin-hadoop2.7

     执行命令,启动脚本:

    ./bin/spark-shell


    相关文章

      网友评论

          本文标题:Centos下的Spark环境搭建

          本文链接:https://www.haomeiwen.com/subject/eiiuqftx.html