mapValues

作者: yayooo | 来源:发表于2019-07-31 21:34 被阅读0次

只关心values
针对于(K,V)形式的类型只对V进行操作

package com.atguigu

import org.apache.spark.rdd.RDD
import org.apache.spark.{HashPartitioner, Partitioner, SparkConf, SparkContext}

object Trans {
  def main(args: Array[String]): Unit = {

    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("Spark01_Partition")
    //构建spark上下文对象
    val sc = new SparkContext(conf)

    val rdd: RDD[(Int, String)] = sc.makeRDD(Array((3,"aa"),(6,"bb"),(1,"cc"),(4,"dd")))
    val rdd1: RDD[(Int, String)] = rdd.mapValues(_+"|||")

    rdd1.foreach(println)

    sc.stop()
  }
}

(3,aa|||)
(6,bb|||)
(1,cc|||)
(4,dd|||)

相关文章

  • mapValues

    只关心values针对于(K,V)形式的类型只对V进行操作 (3,aa|||)(6,bb|||)(1,cc|||)...

  • Spark k-v类型转换算子

    Spark k-v类型转换算子 MapPartitionsRDD mapValues 算子 将传入的函数应用于va...

  • Spark 算子- KeyValue Transformatio

    Key-Value数据类型的Transformation算子 输入输出一对一 mapValues针对Key,Val...

  • Scala学习一

    1.集合操作练习 2.聚合 3.单机版WordCount 4.mapValues对取出来的每一对K-V的V进行操作...

网友评论

      本文标题:mapValues

      本文链接:https://www.haomeiwen.com/subject/utfzrctx.html