安装Scala环境

安装java

复制jdk文件到 /opt/bigdata 目录
配置环境变量
打开/etc/profile，在文件末尾处添加以下内容

export JAVA_HOME=/opt/bigdata/jdk1.8.0_271
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

设置可执行权限

chmod 750 opt/bigdata/jdk1.8.0_271/bin/java

安装scala

下载scala

下载地址

https://www.scala-lang.org/download/

点击下载适配linux的版本

image.png

https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz

下载完按成后上传到服务器 /opt/bigdata 目录下，使用命令解压程序：

tar -xvf   ./scala-2.11.12.tgz

配置环境变量

编辑 /etc/profile 文件，添加以下内容：

export    SCALA_HOME=/opt/bigdata/scala-2.11.12
export    PATH="$PATH:${SCALA_HOME}/bin"

激活配置

source /etc/profile

验证 scala 是否正确安装

> scala -version
Scala code runner version 2.11.12 -- Copyright 2002-2020, LAMP/EPFL and Lightbend, Inc.

安装Spark

下载

http://spark.apache.org/downloads.html

下载spark安装包 spark-2.4.7-bin-hadoop2.7.tgz，复制到 /opt/bigdata/ 目录下并解压

配置环境变量

export  SPARK_HOME=/opt/bigdata/spark-2.4.7-bin-hadoop2.7
export  PATH="$PATH:${SPARK_HOME}/bin"

修改配置文件

配置文件在 /opt/bigdata/spark-2.4.7-bin-hadoop2.7/conf 目录下

image.png

创建 spark-env.sh

根据模板添加 spark-env.sh 文件

cd  /opt/bigdata/spark-2.4.7-bin-hadoop2.7/conf 
cp spark-env.sh.template   spark-env.sh

编辑复制的 spark-env.sh 文件
添加以下内容

export SCALA_HOME=/opt/bigdata/scala-2.11.12
export JAVA_HOME=/opt/bigdata/jdk1.8.0_271
export SPARK_HOME=/opt/bigdata/spark-2.4.7-bin-hadoop2.7
export SPARK_MASTER_IP=127.0.0.1
export SPARK_EXECUTOR_MEMORY=1G

新建slaves文件

cd  /opt/bigdata/spark-2.4.7-bin-hadoop2.7/conf 
cp slaves.template   slaves

编辑slaves 文件，添加以下内容

localhost

测试 spark

cd  /opt/bigdata/spark-2.4.7-bin-hadoop2.7
./bin/run-example   SparkPi   10

image.png

启动 Spark Shell 命令行窗口

cd  /opt/bigdata/spark-2.4.7-bin-hadoop2.7
./bin/spark-shell

image.png

参考

https://blog.csdn.net/pucao_cug/article/details/72377219