美文网首页
【Spark学习笔记】Scala基础(二)之Aciton介绍

【Spark学习笔记】Scala基础(二)之Aciton介绍

作者: 不可能打工 | 来源:发表于2019-07-26 14:40 被阅读0次

    Action介绍

    在RDD上计算出来一个结果,把结果返回给driver program或保存在文件系统,例如:count(),save


    常用action

    reduce()

    接收一个函数,作用在RDD两个类型相同的元素上,返回新元素。
    可以实现,RDD中元素的累加,计数和其他类型的聚集操作。

    val rdd=sc.parallelize(Array(1,2,3,3))
    rdd.reduce((x,y)=>x+y)
    ---Int =9

    collect()

    遍历整个RDD,向driver program返回RDD的内容
    需要单机内存能够容纳下(因为数据要拷贝给driver,测试使用)大数据的时候,使用saveAsTextFile() action等。

    take(n)

    返回RDD的n个元素(同时尝试访问最少的partitions)。返回结果是无序的,测试使用。

    top(n)

    排序(根据RDD中数据的比较器)

    rdd.top(3)

    foreach()

    计算RDD中的每个元素,但不保存到本地,配合println,打印元素。

    rdd.foreach(println)

    相关文章

      网友评论

          本文标题:【Spark学习笔记】Scala基础(二)之Aciton介绍

          本文链接:https://www.haomeiwen.com/subject/etsalctx.html