在安装之前，最好安装好anaconda环境，网上安装anaconda教程很多，这里不赘述。下面简述如何安装Scala + spark。
1、安装scala notebook
# Step 1: Install spylon kernel
pip install spylon-kernel
# Step 2: create a kernel spec
python -m spylon_kernel install
# Step 3: start jupyter notebook
jupyter notebook
查看当前可用kernel：
jupyter kernelspec list
2、 安装spark
这里直接实用mac的homebrew进行安装：
brew install apache-spark
3、添加spark环境变量
在.bashrc或.zshrc中添加spark环境变量，即刚刚安装的spark的路径。
# 需要注意这里路径一定要写到libexec/，不然会报错
export SPARK_HOME=/opt/homebrew/Cellar/apache-spark/3.1.2/libexec/
最后source .zshrc更新一下环境变量，基本大功告成。
参考：
https://stackoverflow.com/questions/35563545/how-do-i-install-scala-in-jupyter-ipython-notebook
网友评论