基本概念
RDD(弹性分布式数据集)
是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型。
Application(应用程序)
指用户编写的Spark应用程序，包含驱动程序(Driver)和分布在集群中多个节点上运行的Executor代码，在执行中由一个或多个作业组成。
Driver(驱动程序)
即运行上述Application的main函数并且创建SparkContext，以准备spark应用环境的运行程序。
在Spark中由SparkContext负责与ClusterManager通信，进行资源的申请、任务的分配和监控；当Executor部分运行完毕后，Driver负责将SparkContext关闭。
通常用SparkContext代表Driver。
Worker(工作节点)
集群中任何可以运行Application代码的节点，类似于YARN中的NodeManager节点。
Standalone模式中指通过Slave文件配置的Worker节点。
Spark on yarn模式中指的就是NodeManager节点。
Executor(执行进程)
Application运行在Worder节点上的一个进程，该进行负责运行Task,并负责将数据存储在内存或者磁盘上，每个Application都有各自独立的一批Executor。
Task
运行在Executor上的工作单元。
Job
一个job包含多个RDD以及作用于相应RDD上的各种操作。
Stage
是Job的基本调度单位，一个Job会分为多组Task，每组Task被称为Stage，或者TaskSet，代表一组关联的，相互之间没有Shuffle依赖关系的任务组成的任务集。
Cluster Manager(集群资源管理器)
是指在集群上获取资源的外部服务，目前有以下几种：
Standalone：Spark原生的资源管理，由Master负责资源的管理。
Hadoop Yarn：有YARN中的ResourceManager负责资源的管理。
Mesos：由Mesos中的Mesos Master负责资源的管理。
Master(总控进程)
Spark Standalone运行模式下的主节点，负责管理和分配集群资源来运行Spark Application。
运行架构
Spark运行架构特点：
- 每个Application都有自己专属的Executor进程，并且该进程在Application运行期间一直驻留。Executor进程以多线程的方式运行Task。
- Spark运行过程与资源管理器无关，只要能够获取Executor进程并保持通信即可。
- Task采用了数据本地性和推测执行等优化机制。
与Hadoop MapReduce计算框架相比，Spark采用的Executor有两个优点：
- 利用多线程来执行具体的任务减少任务的启动开销；
- Executor中有一个BlockManager存储模块，会将内存和磁盘共同作为存储设备，有效减少IO开销。
环境搭建
下载解压
将spark下载解压到虚拟机中：
tar -zxvf spark-2.0.2-bin-hadoop2.7.tgz -C ./
修改配置文件
以下命令进入spark配置文件所在目录：
cd /home/spark-2.0.2-bin-hadoop2.7/conf
修改配置文件spark-env.sh，填写如下内容：
export JAVA_HOME=/home/jdk1.8.0_181
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077
修改配置文件slaves，填写slave节点的host:
slave1
slave2
到这里，spark配置文件修改完毕，只需将spark分发到所有节点即可。
启动集群
如果将SPARK_HOME/sbin配置到了环境变量, 执行以下命令就可以启动集群的master和work:
start-master.sh
start-slaves.sh
可以通过master:8080访问spark的Web端页面。
使用集群
通过如下测试用例测试其功能是否正常：
./bin/run-example SparkPi 10
我们也可以用分布式集群来执行这个任务:
./spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://master:7077 \
--driver-memory 512m \
--executor-memory 512m \
--total-executor-cores 2 \
/home/spark-2.0.2-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.0.2.jar \
100
Spark Shell本身就是一个Driver，里面已经包含了main方法，在Spark的bin目录下执行以下命令启动Spark Shell:
spark-shell --master <master-url>
Spark的运行模式取决于传递给SparkContext的Master URL的值，Master URL可以是以下任意一种形式：
local：使用一个Worker线程本地化运行Spark(完全不并行)
local[*]：使用逻辑CPU个数数量的线程来本地化运行Spark
local[k]：使用k个Worker线程本地化运行Spark(理想情况下，k根据运行机器的CPU核数设定)
spark://HOST:PORT 连接到指定的Spark standalone master。默认端口是7077，这种方式用于集群配置。
yarn-client：以客户端模式连接YARN集群，集群的位置可以在HADOOP_CONF_DIR环境变量中找到。
yarn-cluster：以集群模式连接YARN集群，集群位置可以在HADOOP_CONF_DIR环境变量中找到。
mesos://HOST:PORT：连接到指定的Mesos集群，默认接口是5050。
在Spark中采用本地模式启动Spark Shell的命令主要包含以下参数：
我们也可以不加任何参数，默认是local模式：
spark-shell
以下命令用分布式集群来执行wordcount任务:
spark-shell \
--master spark://master:7077 \
--executor-memory 512m \
--total-executor-cores 2
网友评论