coalesce()方法的作用
将RDD进行重分区,使用HashPartitioner。第一个参数为重分区的数目,第二个为是否进行shuffle,默认为false;
repartition()方法的作用
该函数其实就是coalesce函数第二个参数为true的实现
Boy-20180727
将RDD进行重分区,使用HashPartitioner。第一个参数为重分区的数目,第二个为是否进行shuffle,默认为false;
该函数其实就是coalesce函数第二个参数为true的实现
Boy-20180727
本文标题:Spark算子:RDD基本转换操作(2)–coalesce、re
本文链接:https://www.haomeiwen.com/subject/uzxnmftx.html
网友评论