美文网首页
译:Flink ---状态和容错

译:Flink ---状态和容错

作者: 雪味伦调 | 来源:发表于2019-02-13 00:57 被阅读0次

Flink 1.7 Google翻译

有状态函数和运算符在各个元素/事件的处理中存储数据,使状态成为任何类型的更精细操作的关键构建块
例如:

  • 当应用程序搜索某些事件模式时,状态将存储到目前为止遇到的事件序列
  • 在每分钟/小时/天聚合事件时,状态保存待处理的聚合
  • 当在数据点流上训练机器学习模型时,状态保持模型参数的当前版本
  • 当需要管理历史数据时,状态允许有效访问过去发生的事件

Flink需要了解状态,以便使用检查点使状态容错,并允许流应用程序的保存点。

有关状态的知识还允许重新调整Flink应用程序,这意味着Flink负责跨并行实例重新分配状态。

Flink的可查询状态功能允许您在运行时从Flink外部访问状态

在使用state时,阅读Flink的状态后端可能也很有用。 Flink提供了不同的状态后端,用于指定状态的存储
式和位置。 State可以位于Java的堆上或堆外。根据您的状态后端,Flink还可以管理应用程序的状态,这
意味着Flink处理内存管理(如果需要可能会溢出到磁盘)以允许应用程序保持非常大的状态。可以在不更改
应用程序逻辑的情况下配置状态后端

相关文章

  • 译:Flink ---状态和容错

    Flink 1.7 Google翻译 有状态函数和运算符在各个元素/事件的处理中存储数据,使状态成为任何类型的更精...

  • flink状态和容错

    flink是有状态的计算,可以存储一些中间过程和结果在内部存储里。 状态有三种存储方案MemoryStateBac...

  • flink状态管理和容错

    一、有状态计算 在flink的结构体系当中,有状态的计算可以说是flink非常重要的特性之一了。有状态的计算是指在...

  • flink状态管理和容错

    有状态计算 无状态计算实现的复杂度相对较低,实现起来较容易,但是无法完成提交的比较复杂的业务场景。 用户想要实现c...

  • flink状态容错

    什么是State(状态)? 某task/operator在某时刻的一个中间结果 快照(shapshot) 在fli...

  • Flink检查点机制与状态管理

    1 检查点机制 1.1 CheckPoints 为了使 Flink 的状态具有良好的容错性,Flink 提供了检查...

  • Flink状态管理和容错机制

    Apache Flink® — Stateful Computations over Data Streams(数...

  • Checkpoints

    原文链接 概述 Checkpoint通过允许从状态和相应流的位置进行恢复,从而使Flink中的状态具备容错能力,从...

  • Flink状态与容错

    一致性检查点 1.什么是一致性检查点 Flink故障恢复机制的核心,就是应用的一致性检查点。有状态应用的一致性检查...

  • Flink容错机制-双十一神话的安全保障

    Flink容错机制以及Chandy-Lamport算法 流式计算分为有状态和无状态两种情况,所谓状态就是计算过程中...

网友评论

      本文标题:译:Flink ---状态和容错

      本文链接:https://www.haomeiwen.com/subject/hraleqtx.html