reduce

作者: yayooo | 来源:发表于2019-08-06 20:17 被阅读0次

作用:通过func函数聚集RDD中的所有元素,先聚合分区内数据,再聚合分区间数据。

package com.atguigu

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Action {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("ADCount")

    val sc = new SparkContext(conf)

    val rdd: RDD[Int] = sc.makeRDD(List(1,4,3,2))

    val i: Int = rdd.reduce(_+_)
    println(i)
  }
}

10

相关文章

网友评论

      本文标题:reduce

      本文链接:https://www.haomeiwen.com/subject/tfazrctx.html