传统的容错机制有两种：
1.设计检查点
2.记录数据的更新
在Spark中有宽依赖和窄依赖问题：
窄依赖：父RDD的分区只能被一个子RDD所依赖
宽依赖：父RDD的分区被多个RDD所依赖
窄依赖，如果出错，则只需要重新计算其依赖的父RDD中的一个分区的数据即可，进行恢复
宽依赖，如果出错，则需要将父RDD中的所有分区都进行计算，才能进行数据恢复，而且在父RDD恢复重新计算的时，有的数据会被其他的子RDD所依赖，但是这些子RDD并没有出错，这样就出现的数据冗余计算了。
所以，在宽依赖中，对于lineage太长的，可以做中间阶段进行设置检查点，如果出现错误，则可以直接从检查点中进行恢复数据，而不用从父RDD的全部分区重新计算，设置检查点机制，可以减少很多资源开销。
1. spark如何实现容错性? spark的容错性有2个手段, 检查点和RDD血统 检查点: checkpoin...
Spark treaming简介 Spark Streaming是Spark中的一个组件,具有高吞吐量,容错能力强...
Spark Streaming Job架构与运行机制 Spark Streaming 容错架构与运行机制 Spar...
传统的容错机制有两种：1.设计检查点2.记录数据的更新 在Spark中有宽依赖和窄依赖问题：窄依赖：父RDD的分区...
简介 Spark Streaming 是 Spark Core API 的扩展，它支持弹性的,，高吞吐的，容错的实...
本期内容：1. Spark Streaming Job架构与运行机制2. Spark Streaming 容错架构...
Spark Streaming容错机制保障 参考https://databricks.com/blog/2015/...
Spark Streaming中Driver的容错主要是ReceiverTracker、Dstream.graph...
引入 一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。面向大规模数据分析，数据检查点操作成本...
简介 Spark Streaming是Spark核心API的扩展，可以实现可伸缩、高吞吐量、具备容错机制的实时...
本文标题：spark容错
本文链接：https://www.haomeiwen.com/subject/atudzqtx.html
网友评论