美文网首页
countByValue

countByValue

作者: yayooo | 来源:发表于2019-08-06 20:18 被阅读0次

    作用:针对(K,V)类型的RDD,返回一个(K,Int)的map,表示每一个key对应的元素个数。

    package com.atguigu
    
    import org.apache.spark.rdd.RDD
    import org.apache.spark.{SparkConf, SparkContext}
    
    object Action {
      def main(args: Array[String]): Unit = {
        val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("ADCount")
    
        val sc = new SparkContext(conf)
    
        val rdd: RDD[(String, Int)] = sc.makeRDD(List(("a",1),("b",2),("a",3),("b",4),("a",5)))
         val tupleToLong: collection.Map[(String, Int), Long] = rdd.countByValue()
        println(tupleToLong)
    
      }
    }
    
    

    Map((b,4) -> 1, (a,5) -> 1, (b,2) -> 1, (a,3) -> 1, (a,1) -> 1)

    相关文章

      网友评论

          本文标题:countByValue

          本文链接:https://www.haomeiwen.com/subject/cbttdctx.html