搭建步骤

使用的系统是macOS，搭建步骤如下：

• 下载Spark
  下载地址：http://spark.apache.org/downloads.html
• 下载后的放置目录：
  /Users/anthony/Library
• 解压缩：
  tar zxvf spark-2.3.0-bin-hadoop2.7.tgz
• 移除原来的压缩包：
  rm -rf spark-2.3.0-bin-hadoop2.7.tgz
• 进入目录：
  cd /Users/anthony/Library/spark-2.3.0-bin-hadoop2.7/
• 启动shell
  bin/spark-shell

• 在shell依次输入以下语句，观察结果：

scala> val textFile = sc.textFile(“README.md”)
scala> textFile.count()
scala> textFile.first()
scala> val linesWithSpark = textFile.filter(line => line.contains(“Spark”))
scala> textFile.filter(line => line.contains(“Spark”)).count()

运行spark-shell 并操作

Spark 编程的核心概念:通过一个驱动器程序创建一个 SparkContext 和一系列 RDD，然后进行并行操作。

• 运行独立的程序

首先需要安装sbt，sbt之于Scala就像Maven之于Java，用于管理项目依赖，构建项目。macOS只需要执行brew install sbt即可安装完成。

参考资料

搭建Spark单节点本地运行环境
Quick Start Spark