SparkContext
- Driver programs 通过SparkContext对象访问Spark
- SparkContext对象代表和一个集群的连接
- 在Shell中SparkContext自动创建好了，就是sc
RDDs
- Resilient distributed datasets(弹性分布式数据集，简写RDDs）
这些RDDs，并行的分布在整个集群中。 - RDDs是Spark分发数据和计算的基础抽象类
- 一个RDD是一个不可改变的分布式集合对象
- Spark中，所有的计算都是通过RDDs的创建，转换，操作完成的
- 一个RDD内部由许多partitions（分片）组成
分片
- 每个分片包括一部分数据，partitions可在集群不同节点上计算
- 分片是Spark并行处理的单元，Spark顺序的，并行的处理分片
RDDs的创建方法
1 把一个存在的集合传给SparkContext的parallelize()方法，测试用
val rdd = sc.parallelize(Array(1,2,2,4),4)
第1个参数：待并行化处理的集合，第2个参数：分区个数
2 加载外部数据集
val rddText = sc.textFile("helloSpark.txt")
网友评论