美文网首页
zip 拉链(spark)

zip 拉链(spark)

作者: yayooo | 来源:发表于2019-07-30 20:57 被阅读0次

    区别于scala的zip。

    • spark的zip can only zip RDDs with same number of elements in eache partition
    • Can't zip RDDs with unequal numbers of partitions
      即:可迭代集合数量一致,分区数一致。
        val rdd1: RDD[Int] = sc.makeRDD(List(1,2,3,4,5),2)
        val rdd2: RDD[Int] = sc.makeRDD(List(5,6,7,8,9),2)
        rdd1.zip(rdd2).collect().foreach(println)
    

    (1,5)
    (2,6)
    (3,7)
    (4,8)
    (5,9)

    相关文章

      网友评论

          本文标题:zip 拉链(spark)

          本文链接:https://www.haomeiwen.com/subject/djcnrctx.html