spark学习(一):配置spark环境

写在前面

系统：deepin
版本：15.4.1桌面版

1 安装java

1.1 我们选择使用apt-get下载openjdk

sudo -s #切换到root用户
apt-get install openjdk-8-jdk --fix-missing -y

1.2 查看java是否安装成功

java -version

1.3 配置JAVA_HOME

在 Ubuntu 上安装 openjdk 时，系统并不会自动设置 JAVA_HOME 环境变量。
如有需要，可以在 /etc/profile 中添加：

export JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64/"

2 安装scala

2.1 从官网下载tar.gz包

从官网下载地址，选择适合自己的版本

image.png

2.2 解压

tar zxvf ./scala-2.12.4.tgz

2.3 移动到/usr/scala-2.12.4

2.4 设置环境变量

#set scala environment
export SCALA_HOME="/usr/scala-2.12.4"
export PATH=$SCALA_HOME/bin:$PATH

2.5查看scala是否设置成功

scala -version

查看scala版本

安装成功！

3 安装hadoop

3.1 下载hadoop-2.9.0(从官网镜像)

下载地址：utah镜像

3.2 解压后移动至/usr/hadoop-2.9.0

3.3 设置环境变量

#hadoop2.9.0
export HADOOP_HOME="/usr/hadoop-2.9.0"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH

3.4 查看hadoop是否设置成功

hadoop version

查看hadoop版本

安装成功！

4 安装spark

4.1 下载spark-2.2.0(从官网镜像)

下载地址：spark下载页面

4.2 解压后移动至/usr/spark

4.3 设置环境变量

#spark
export SPARK_HOME="/usr/spark"
export PATH=$SPARK_HOME/bin:$PATH

4.4 查看spark是否设置成功

进入spark-shell

spark-shell

安装成功！

5 查看全部环境变量

至此，spark所需的基本环境搭建完成了！