checkpoint 相当于 cache的备胎;
checkpoint的数据一般都会放在容错的文件系统当中，比如hdfs．
一般在做checkpoint之前都需要进行cache, 因为checkpoint会触发一个job;
checkpoint操作会生成checkpointRDD，checkpointRDD会作为父RDD参与后续的运算.
checkpoint 相当于 cache的备胎;
checkpoint的数据一般都会放在容错的文件系统当中，比如hdfs．
一般在做checkpoint之前都需要进行cache, 因为checkpoint会触发一个job;
checkpoint操作会生成checkpointRDD，checkpointRDD会作为父RDD参与后续的运算.
本文标题：Spark cache 和 checkpoint
本文链接：https://www.haomeiwen.com/subject/wgayjttx.html
网友评论