FLink Checkpoint 介绍

前提假设

这一篇主要整理下Lightweight Asynchronous Snapshots for Distributed Dataflows 知识点。

算法的前提:

• Network channels are quasi-reliable, respect a FIFO delivery order and can be blocked and unblocked. When a channel is blocked all messages are buffered but not delivered until it gets unblocked.
• Tasks can trigger operations on their channel com- ponents such as block, unblock and send messages Broadcasting messages is also supported on all out- put channels.
• Messages injected in source tasks (i.e. stage barri- ers) are resolved into a “Nil” input channel.

无环ABS

16231222245758.jpg

算法

16231206846830.jpg

主要流程:

1.operator初始化包括状态，输入输出channel以及函数(函数的初始化一般调用initializeState)的初始化等。

2.operator收到某个input收到的marker消息(barrier)
 + input 加入block input集合，然后block 当前input(并不是停止，而是buffer)
 + 如果block_inputs = inputs(说明收到所有输入的marker消息)
   - 向outputs转发该marker消息(也即向所有下游节点发送marker消息)
   - 本地快照
   - 解锁所有inputs(接着处理每个input的buffer数据)

3.operator收到正常数据
  + 数据处理，状态转变，输出转变（数据处理导致状态发生该变，输出数据发生改变）
  + 向下游管道发送当前处理结果

和Candy-lamport 算法主要区别区别

1.状态只有进程本地状态，并没有管道状态(输入管道buffer数据，不作为状态一分部)
2.由同类型进程(source节点)周期出发marker消息。

有环ABS 介绍

更接近Candy-Lamport的实现

16231221431551.jpg

这里Operator的输入分为两种

• 正常的输入
• 环路输入(即下游节点输出作为当前节点的输入)

主要流程

+ 集齐所有正常的输入的marker消息，对本地快照进行copy，向下游发送marker消息
+ 缓存或者记录环路输入消息
+ 当收到所有环路输入的marker消息(第一步发送的marker消息)，本地快照(本地快照copy + 环路buffer消息)
+ 一次快照组成（正常输入的计算状态 + 环路输入管道的消息）

和无环的主要区别

有环ABS比起无环ABS,更像是Candy-Lamport的最完整的实现。

• 有环状态组成为进程状态和输入管道消息

Unaligned Checkpointing实现

非对齐checkpoint也是最接近Candy-Lamport的实现，状态是进程状态和管道消息。

16231235382917.jpg

主要流程

1.收到第一个marker消息，然后记录本地进程状态，将maker消息放置在输出对列的最后后面，以最快的速度发送下去
2.算子继续正常处理Channel 的输入，记录属于当前快照的输入消息和输出消息
3.将缓存的输入和输出消息以及快照作为状态，持久化起来。
4.快照组成输入管道消息以及输出管道消息加上收到第一个快照。

总结

flink的快照机制其实是参考Candy-Lamport算法实现的，除了在source周期注入marker消息以外，最大的区别就是状态的组成上。
无法环ABS只有本地快照状态，有环ABS状态是本地快照状态 + 环路输入消息
非对齐checkpoint则是本地快照 + 输入消息 + 输出消息