spark

Spark比hadoop快的原因

1中间结果基于内存

2dag

3以线程为单位，开销更小（不确定）

Spark core：

弹性分布式数据集（Resilient Distributed Dataset，RDD ）。RDD就是带有分区的集合类型

rdd的五大特性：

1由一系列partition组成

2算子作用在partition上

3rdd之间有依赖关系

4分区器作用在k，v格式的rdd上（分区：主要通过compute函数）

5partition提供计算位置，利于数据本地化

spark读取hdfs的数据的方法：

textfile，底层调用的是mr读取hdfs的方法（split的block对应rdd的partition）

弹性分布式数据集（RDD），他是一个弹性的，可分区的，分布式计算的集合。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。

弹性的体现：

存储弹性：内存和硬盘可以互相切换

容错弹性：通过依赖关系，计算丢失自动恢复

计算弹性：partition可多可少

分布式的体现：

rdd的partition分布在多个节点

代码流程：

1、配置sparkconf  

val conf = new sparkconf

conf.xxx

2、创建sparkcontext对象

val sc = new sparkcontext(conf)

val lines = sc.textfile(path="./xx/xx")

3、创建rdd，对rdd进行处理

4、action触发transformation执行

val rdd = lines.flatmap(one=>{one.split(" ")}).foreach(println)

5、关闭sparkcontext

sc.stop()

DAG:

原始RDD的通过一系列转换和执行来生成RDD之间的依赖关系，这个计算链就是逻辑上的DAG（有向无环图），lineage就是一条依赖关系，多条lineage可以组成DAG

针对RDD的算子操作，分三种:

一种是Transformation（变换），用来构建RDD血缘关系，属于懒操作，不会真正触发RDD的处理计算，比如map(一对一)，flatmap（一对多），filter，groupbykey。

另一种是Actions（执行），它才会真正触发计算，一个action一个job。比如count，reduce，first，take（n），返回的不是rdd就可能是actions

持久化算子：将计算结果持久化到内存，不需要重复计算

    cache：默认存在内存中

    persist：手动指定级别

    checkpoint： 持久化到指定目录，血缘关系非常复杂可以使用，可以切断依赖关系

宽依赖：子rdd分区与父rdd分区多对多，

窄依赖：子rdd与父rdd分区一对一

缓存作用：保存血缘关系

检查点：血缘关系太长而设置，类似于快照

任务分为app，job，stage，task