美文网首页
Append 流、 Retract 流、 Upsert 流、动态

Append 流、 Retract 流、 Upsert 流、动态

作者: 专职掏大粪 | 来源:发表于2021-07-12 15:03 被阅读0次

Append-only 流: 仅通过 INSERT 操作修改的动态表可以通过输出插入的行转换为流。

Retract 流: retract 流包含两种类型的 message: add messages 和 retract messages 。通过将INSERT 操作编码为 add message、将 DELETE 操作编码为 retract message、将 UPDATE 操作编码为更新(先前)行的 retract message 和更新(新)行的 add message,将动态表转换为 retract 流。下图显示了将动态表转换为 retract 流的过程


image.png

Upsert 流: upsert 流包含两种类型的 message: upsert messages 和delete messages。转换为 upsert 流的动态表需要(可能是组合的)唯一键。通过将 INSERT 和 UPDATE 操作编码为 upsert message,将 DELETE 操作编码为 delete message ,将具有唯一键的动态表转换为流。消费流的算子需要知道唯一键的属性,以便正确地应用 message。与 retract 流的主要区别在于 UPDATE 操作是用单个 message 编码的,因此效率更高


image.png

动态表转为datastream时,仅支持append 流retract流
动态表输出到外部系统时,支持Append、Retract以及Upsert模式

image.png

Dynamic Tables

Dynamic Tables翻译

相关文章

  • Append 流、 Retract 流、 Upsert 流、动态

    Append-only 流: 仅通过 INSERT 操作修改的动态表可以通过输出插入的行转换为流。 Retract...

  • 浅谈实时流同步Hive方案

    实时流同步hive 同步实时流数据时,首先要看数据类型,如果是append流,则比较简单,如果数据流存在根据id更...

  • UE4 关卡加载与关卡流加载

    一、关卡加载与关卡流加载区别 1.1 关卡流 使用流关卡的好处在于利于多人协同合作 通过关卡流可以在需要的时候动态...

  • 信息流广告投放的几点方法论

    信息流广告的网络定义如下: 信息流广告是位于社交媒体用户的好友动态、或者资讯媒体和视听媒体内容流中的广告。信息流广...

  • Odoo10开发教程七(工作流和安全)

    工作流 工作流是与动态业务对象相关联的模型。工作流也用于跟踪动态演进的进程。 练习伪工作流在授课模型上添加一个字段...

  • 信息流

    1、什么是信息流 内容按类似的规格样式上下排布就是信息流,比如微博首页就是信息流,你刷知乎首页看到的动态也是信息流...

  • 动态流样式收集

    朋友圈式-直接展示全文,点击图片出大图 念: 淘宝评论区:

  • 信息流

    一、什么是信息流广告? 社交媒体用户的好友动态、资讯媒体和视听媒体内容流中的广告。 二、信息流广告展现形式 三...

  • 电商的四流体系

    四流:即商品流、信息流、资金流、物流 Ps: 三流:信息流、现金流、物流 四流:信息流、现金流、物流、商品...

  • 短视频信息流推广这样做才有效!

    什么是信息流广告? 信息流广告是混排于好友动态、资讯媒体和视听媒体内容流中的广告,它的形式有图片、图文、视频等。如...

网友评论

      本文标题:Append 流、 Retract 流、 Upsert 流、动态

      本文链接:https://www.haomeiwen.com/subject/fxnrpltx.html