美文网首页flink
flink 状态后端的简单理解

flink 状态后端的简单理解

作者: Jaming | 来源:发表于2020-04-17 11:48 被阅读0次

MemoryStateBackend

状态数据保存在taskmanager的内存中,所以程序能够使用状态的大小受限于taskmanager的内存。flink默认禁用checkpoint,当开启checkpoint时,flink将taskmanager中的状态数据做快照,然后保存到jobmanager中。

FsStateBackend

状态数据保存在taskmanager的内存中,所以程序能够使用状态的大小受限于taskmanager的内存。flink默认禁用checkpoint,当开启checkpoint时,将数据存储到fs中

RocksDBStateBackend

api中指定rocksdb,同时指定一个fs路径。状态数据保存在rocksDB中,而rocksdb将数据存储到磁盘上,checkpoint时,可以配置增量将rocksdb的数据文件上传到fs中。

相关文章

网友评论

    本文标题:flink 状态后端的简单理解

    本文链接:https://www.haomeiwen.com/subject/gojevhtx.html