美文网首页
译:Flink ---状态和容错

译:Flink ---状态和容错

作者: 雪味伦调 | 来源:发表于2019-02-13 00:57 被阅读0次

    Flink 1.7 Google翻译

    有状态函数和运算符在各个元素/事件的处理中存储数据,使状态成为任何类型的更精细操作的关键构建块
    例如:

    • 当应用程序搜索某些事件模式时,状态将存储到目前为止遇到的事件序列
    • 在每分钟/小时/天聚合事件时,状态保存待处理的聚合
    • 当在数据点流上训练机器学习模型时,状态保持模型参数的当前版本
    • 当需要管理历史数据时,状态允许有效访问过去发生的事件

    Flink需要了解状态,以便使用检查点使状态容错,并允许流应用程序的保存点。

    有关状态的知识还允许重新调整Flink应用程序,这意味着Flink负责跨并行实例重新分配状态。

    Flink的可查询状态功能允许您在运行时从Flink外部访问状态

    在使用state时,阅读Flink的状态后端可能也很有用。 Flink提供了不同的状态后端,用于指定状态的存储
    式和位置。 State可以位于Java的堆上或堆外。根据您的状态后端,Flink还可以管理应用程序的状态,这
    意味着Flink处理内存管理(如果需要可能会溢出到磁盘)以允许应用程序保持非常大的状态。可以在不更改
    应用程序逻辑的情况下配置状态后端

    相关文章

      网友评论

          本文标题:译:Flink ---状态和容错

          本文链接:https://www.haomeiwen.com/subject/hraleqtx.html