Resilient Distributeed DataSets:弹性分布式数据集
创建：由SparkContext负责创建，将内存中的集合或者外部文件系统作为输入源
转换：将一个RDD通过一定的操作变换成为另外一个RDD,下面的代码中filter就是一个转换操作
val file = sc.textFile("hdfs://root/log")
val filterRDD = file.filter(_.contains("hello world"))
transform 常用的API：
控制：对RDD进行持久化，可以让RDD保存在磁盘或者内存中，cache默认将RDD缓存在内存中。
行动：Spark中的行动操作基本分为两类，一类的操作结果变成Scala集合或者标量，另一类就将RDD保存到外部文件或者数据库系统中。
spark会惰性计算RDD。
Spark程序或者shell的工作方式大致如下：
1、从外部数据创建输入RDD
2、使用诸如filter()这样的转化操作对RDD进行转化，以定义新的RDD
3、告诉spark对需要被重用的RDD执行persist()操作
4、使用行动操作(如count()、first())等来触发一次并行计算，spark会对计算进行优化后再执行。
RDD对象是不可变的，一旦对象被创建，他们的值就无法再变化。
网友评论