Action介绍
在RDD上计算出来一个结果,把结果返回给driver program或保存在文件系统,例如:count(),save
常用action
reduce()
接收一个函数,作用在RDD两个类型相同的元素上,返回新元素。
可以实现,RDD中元素的累加,计数和其他类型的聚集操作。
val rdd=sc.parallelize(Array(1,2,3,3))
rdd.reduce((x,y)=>x+y)
---Int =9
collect()
遍历整个RDD,向driver program返回RDD的内容
需要单机内存能够容纳下(因为数据要拷贝给driver,测试使用)大数据的时候,使用saveAsTextFile() action等。
take(n)
返回RDD的n个元素(同时尝试访问最少的partitions)。返回结果是无序的,测试使用。
top(n)
排序(根据RDD中数据的比较器)
rdd.top(3)
foreach()
计算RDD中的每个元素,但不保存到本地,配合println,打印元素。
rdd.foreach(println)
网友评论