Spark技术内幕++深入解析Spark内核架构设计与实现原理（

spark技术背景

大多数现有的集群计算系统都是基于非循环的数据流模型。即从稳定的物理存储（如分布式文件系统）中加载记录，记录被传入由一组确定性操作构成的DAG（有向无环图），然后写回稳定存储。DAG数据流图能够在运行时自动实现任务调度和故障恢复。
尽管非循环数据流是种很强大的抽象方法，但仍然有些应用无法使用这种方式描述。包括1.机器学习和图应用中常用的迭代算法 2.交互式数据挖掘工具（用户反复查询一个数据子集），基于数据流的框架并不明确支持工作集，所以需要将数据输出到磁盘，然后每次查询时重新加载，会带来极大开销。针对上述问题。Spark实现了一种分布式内存抽象，称为弹性分布式数据集（RDD）。它支持基于工作集的应用，同时具有数据流模型的特点：自动容错、位置感知性调度和可伸缩行。RDD允许用户在执行多个查询时，显示地将工作集缓存在内存中，后续查询能够重用工作集，极大地提升了查询速度。
RDD提供了一种高度受限内存模型，即RDD是只读记录分区的集合，只能通过其他RDD执行确定的转换操作（如map、join）而创建，这些限制使得实现容错的开销很低。与分布式共享内存系统需要付出高昂代价的检查点和回滚机制不同，RDD通过Lineage来重建丢失的分区：一个RDD中包含了如何从其他RDD衍生所必须的相关信息，而不需要检查点操作就可以重建丢失的数据分区。尽管RDD不是一个通用的共享内存抽象，但他具备了良好的描述能力、可伸缩性和可靠性，能够广泛适用于数据并行类应用。

Hadoop 的MapReduce是基于数据集的
基于数据集的处理：从物理存储上加载数据，然后操作数据，然后写入物理存储设备；
基于数据集的操作不适应的场景：
1，不适合于大量的迭代
2，交互式查询
重点是：基于数据流的方式 不能够复用曾经的结果或者中间计算结果;

Spark RDD是基于工作集的
工作流和工作集的共同特点：位置感知，自动容错，负载均衡等。
Spark的位置感知比Hadoop的好很多，具体如下：

1. Hadoop位置感知：Hadoop进行partition之后就不管Reducer在哪里了。
2. Spark的位置感知：Spark进行partition后再进行下一步Stage时会确定其位置，是更精致化的。

spark架构综述

Driver是用户编写的数据处理逻辑，这个逻辑中包含用户创建的SparkContext。SparkContext是用户逻辑与Spark集群主要的交互接口，它会和Cluster Manager交互，包括向他申请计算资源等。Cluster Manager负责集群的资源管理和调度，现在支持Standalone、Apache Mesos和Hadoop的YARN。Worker Node是集群中可以执行计算任务的节点。Executor是在一个Worker Node上为某应用启动的一个进程，该进程负责运行任务，并且负责将数据存在内存或者磁盘上。Task是被送到某个Executor上的计算单元。每个应用都有各自独立的Executor，计算最终在计算节点的Executor中执行。

用户程序从最开始的提交到最终的计算执行，需要经历以下几个阶段：

1. 用户程序创建SparkContext时，新建的SparkContext实例会连接到Cluster Manager。Cluster Manager会根据用户提交时设置的CPU和内存等信息为本地提交分配计算资源，启动Executor。
2. Driver会将用户程序划分为不同的执行阶段，每个执行阶段由一组完全相同的Task组成，这些Task分别作用于待处理数据的不同分区。在阶段划分完成和Task创建后，Driver会向Executor发送Task。
3. Executor在接收到Task后，会下载Task的运行依赖，在准备好Task的执行环境后，会开始执行Task，并且将Task的运行状态回报给Driver。
4. Driver会根据收到的Task的运行状态来处理不同的状态更新。Task分为两种：一种是Shuffle Map Task，它实现数据的重新洗牌，洗牌的结果保存到Executor所在节点的文件系统中；另一种是Result Task，它负责生成结果数据。
5. Driver会不断的调用Task，将Task发送到Executor执行，在所有的Task都正确执行或者超过执行次数的限制仍然没成功时停止。

RDD实现详解

Spark的目标是为了基于工作集的应用（即多个并行操作重用中间结果的应用）提供抽象，同时保持MapReduce及其相关模型的优势特性，即自动容错、位置感知性协调和可伸缩性。RDD比数据流模型更易于编程，同时基于工作集的计算也具有良好的描述能力。
分布式数据集的容错性有两种方式：数据检查点和记录数据更新。我们面向大规模的数据分析，数据检查点成本很高：需要数据中心网络连接机器之间复制庞大的数据集，网络带宽往往比内存带宽低很多，同时还要消耗更多的存储资源（存储到磁盘会降低应用程序速度）。所以我们选择记录更新方式，但如果更新太多记录更新的成本也很高。因此RDD只支持粗颗粒度转换，即大量记录上执行的单个操作。将创建RDD的一系列转换记录下来（即Lineage），以便恢复丢失的分区。

什么是RDD？RDD是只读的、分区记录的集合。RDD只能基于在稳定物理存储中的数据集和其他已有的RDD上执行确定性操作来创建。这些确定性操作成为转换，如map、filter、groupBy、join等。RDD不需要物化（落盘），RDD含有如何从其他RDD衍生（即计算）出本RDD的相关信息（Lineage），因此在RDD部分分区数据丢失的时候可以从物理存储的数据计算出相应的RDD分区。

RDD的弹性表现:

1. 弹性之一：自动的进行内存和磁盘数据存储的切换；
2. 弹性之二：基于Lineage的高效容错（第n个节点出错，会从第n-1个节点恢复，血统容错）；
3. 弹性之三：Task如果失败会自动进行特定次数的重试（默认4次）；
4. 弹性之四：Stage如果失败会自动进行特定次数的重试（可以只运行计算失败的阶段）；只计算失败的数据分片；
5. checkpoint和persist
6. 数据调度弹性：DAG TASK 和资源 管理无关
7. 数据分片的高度弹性(人工自由设置分片函数),repartition

每个RDD有5个主要属性

1. 一组分片（Partition），即数据集的基本组成单元。对于RDD来说，每个分片都会被