【2021-03-19】 jupyter scala 环境搭建

almond kernel ：https://almond.sh/docs/quick-start-install

旨在 接通 spark jupyter echart.js 这3个平台，数据到html可视化的桥梁

安装

curl -Lo coursier https://git.io/coursier-cli
chmod +x coursier
./coursier launch --fork almond -- --install
rm -f coursier

必备 header:
import almond.interpreter.api.DisplayData
Html("<style>.container { width: 100%; }</style>") //页面100%宽度显示

添加 spark 依赖 具体看上面文档

import $ivy.`org.apache.spark::spark-sql:2.1.1` 
import $ivy.`org.apache.spark::spark-hive:2.1.1` 
import $ivy.`sh.almond::almond-spark:0.6.0` // 2.1.1 只能是0.7 以下的版本

注意使用NotebookSparkSession.builder()，而不是SparkSession.builder()在编写Spark作业时使用的。（官方原句）

启动spark

import org.apache.spark.sql._

def getSpark(appName: String): SparkSession = {
    //注意使用NotebookSparkSession.builder()，而不是SparkSession.builder()
    NotebookSparkSession.builder() 
        .appName(appName)
        .config("spark.yarn.queue", "feature")
        .config("num-executors", "50")
        .config("executor-memory", "4G")
        .config("spark.sql.hive.convertMetastoreParquet", "false")
        .config("spark.ui.port", "7479")
        .enableHiveSupport()
        .getOrCreate()
}
val spark = getSpark("jupyter-spark-shell")