美文网首页
Centos下的Spark环境搭建

Centos下的Spark环境搭建

作者: CodeNing | 来源:发表于2018-03-19 13:15 被阅读0次

在usr文件夹下新建java,scala,和spark文件夹,并将对应压缩包放入文件夹内

打开终端输入命令新建文件夹:

cd /uer

mkdir java(scala,spark同)

将压缩包上传至对应目录下,可使用工具

解压jdk 

输入命令

  tar –zxvf jdk-8u161-linux-x86.tar.gz


解压SDK

配置jdk环境变量,在、etc/profile下添加如下语句

配置JDK

然后输入source /etc/profile/保存配置,输入java –version验证sdk

验证SDK

解压scala

解压scala

配置scala

在profile文件添加如下:

scala配置

验证scala

输入

scala –version



验证scala

解压spark

输入命令

tar –zxvf spark-2.3.0-bin-hadoop2.7.tgz


解压spark

配置spark

添加如下,添加完成后保存执行命令

source /etc/peofile



配置spark

进入到主目录,也就是执行下面的命令:

 cd    /opt/spark/spark-2.3.0-bin-hadoop2.7

 执行命令,启动脚本:

./bin/spark-shell


相关文章

  • CentOS下Hadoop+Spark集群搭建

    CentOS下Hadoop+Spark集群环境搭建 硬件环境 虚拟机*3 每台虚拟机配置:系统CentOS6.5 ...

  • Centos下的Spark环境搭建

    在usr文件夹下新建java,scala,和spark文件夹,并将对应压缩包放入文件夹内 打开终端输入命令新建文件...

  • Spark课程大纲

    Spark环境搭建 Centos Spark单机版伪分布式模式Spark单机版intelij开发(maven)Sp...

  • spark课程大纲

    Spark环境搭建 Centos Spark单机版伪分布式模式Spark单机版intelij开发(maven)Sp...

  • spark课程大纲

    Spark环境搭建 Centos Spark单机版伪分布式模式Spark单机版intelij开发(maven)Sp...

  • spark课程大纲

    Spark环境搭建 Centos Spark单机版伪分布式模式Spark单机版intelij开发(maven)Sp...

  • spark学习课程大纲

    Spark环境搭建 Centos Spark单机版伪分布式模式Spark单机版intelij开发(maven)Sp...

  • Spark 应用场景示例

    Spark 应用场景示例 Spark 项目搭建 环境介绍 框架版本Centos7Java8Scala2.11.12...

  • IntelliJ Idea 搭建spark 开发环境

    笔者介绍的是在MAC环境下使用Idea搭建spark环境。 环境: spark 2.0.0 scala 2.11....

  • 学习大数据

    第一天 环境的搭建系统:Centos7.0组建 Hadoop Spark Zookeeper Kafka Flum...

网友评论

      本文标题:Centos下的Spark环境搭建

      本文链接:https://www.haomeiwen.com/subject/eiiuqftx.html