checkPoint的几大作用：
第一：如遇突发情况，导致sparkStreaming进程停止，从新启动sparkStreaming时，用于恢复历史数据。
第二：sparkStreaming对接kafka时，用于维护kafka偏移量，即所谓的kafka自己维护偏移量
第三：遇到mapWithState,updeStatebykey等全局聚合类算子时，需要到chekPoint中加载历史状态的数据。类似于缓存机制，缓存历史计算数据结果，可以使当前数据与历史数据进行相关全局计算操作。
为保障数据高可用的可靠性，checkPoint的数据存储路径大多数为hdfs中
2018-07-19
2018-07-19每日文献：Panoramic stitching of heterogeneous singl...
2018-07-19 陪你一起走过苦难的人是怎么也不会走散的
学号：15020199021 转载自：http://news.sina.com.cn/c/2018-07-19/d...
2018-07-19 cross-platform ：跨平台assets ：资源，资产 2018-07-20 ex...
2018-07-19 生命不息，奋斗不止，万事起于忽微，量变引起质变 -------- Hongyang 什么是 ...
上证指数(SH000001)- 2018-07-19日， 当前值：40.27， 平均值：61.25， 中位数：59...
路过 高原明珠_5266 2018-07-19 07:58 · 字数 96 · 阅读 0 · 路过 人生的每一天经...
路过 高原明珠_5266 2018-07-19 07:58 · 字数 96 · 阅读 0 · 路过 人生的每一天经...
路过 高原明珠_5266 2018-07-19 07:58 · 字数 96 · 阅读 0 · 路过 人生的每一天经...
本文标题：2018-07-19
本文链接：https://www.haomeiwen.com/subject/lowzpftx.html
网友评论