美文网首页
Spark算子:RDD基本转换操作(2)–coalesce、re

Spark算子:RDD基本转换操作(2)–coalesce、re

作者: 小小少年Boy | 来源:发表于2018-07-27 21:19 被阅读0次

coalesce()方法的作用

将RDD进行重分区,使用HashPartitioner。第一个参数为重分区的数目,第二个为是否进行shuffle,默认为false;

repartition()方法的作用

该函数其实就是coalesce函数第二个参数为true的实现


Boy-20180727

相关文章

网友评论

      本文标题:Spark算子:RDD基本转换操作(2)–coalesce、re

      本文链接:https://www.haomeiwen.com/subject/uzxnmftx.html