美文网首页
Spark算子:RDD基本转换操作(2)–coalesce、re

Spark算子:RDD基本转换操作(2)–coalesce、re

作者: 小小少年Boy | 来源:发表于2018-07-27 21:19 被阅读0次

    coalesce()方法的作用

    将RDD进行重分区,使用HashPartitioner。第一个参数为重分区的数目,第二个为是否进行shuffle,默认为false;

    repartition()方法的作用

    该函数其实就是coalesce函数第二个参数为true的实现


    Boy-20180727

    相关文章

      网友评论

          本文标题:Spark算子:RDD基本转换操作(2)–coalesce、re

          本文链接:https://www.haomeiwen.com/subject/uzxnmftx.html