美文网首页
spark rdd 爬坑集

spark rdd 爬坑集

作者: 取个帅气的昵称吧213 | 来源:发表于2018-07-31 20:58 被阅读0次

    对于在调用rdd.checkpoint()之前就做过action的rdd ,checkpoint是无效的,不会产生checkpoint文件

    必须在checkpoint之前紧接再来一个map(空操作也可)

    rdd2 = rdd.map {....};

    rdd2.count();

    rdd2.checkpoint();

    rdd2.count() (无效)

    rdd2 = rdd.map {....};

    rdd2.checkpoint();

    rdd2.count() (有效)

    rdd2 = rdd.map {....};

    rdd2.count();

    rdd2 = rdd2.map(a=>a)

    rdd2.checkpoint();

    rdd2.count() (有效)

    相关文章

      网友评论

          本文标题:spark rdd 爬坑集

          本文链接:https://www.haomeiwen.com/subject/yrkkvftx.html