美文网首页
countByValue

countByValue

作者: yayooo | 来源:发表于2019-08-06 20:18 被阅读0次

作用:针对(K,V)类型的RDD,返回一个(K,Int)的map,表示每一个key对应的元素个数。

package com.atguigu

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Action {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("ADCount")

    val sc = new SparkContext(conf)

    val rdd: RDD[(String, Int)] = sc.makeRDD(List(("a",1),("b",2),("a",3),("b",4),("a",5)))
     val tupleToLong: collection.Map[(String, Int), Long] = rdd.countByValue()
    println(tupleToLong)

  }
}

Map((b,4) -> 1, (a,5) -> 1, (b,2) -> 1, (a,3) -> 1, (a,1) -> 1)

相关文章

  • Spark-RDD-countByValue

    rdd.countByValue

  • countByValue

    作用:针对(K,V)类型的RDD,返回一个(K,Int)的map,表示每一个key对应的元素个数。 Map((b,...

  • 17-SparkCore04

    collect collect countByKey countByValue collectAsMap grou...

网友评论

      本文标题:countByValue

      本文链接:https://www.haomeiwen.com/subject/cbttdctx.html