美文网首页大数据
StreamSets:Processing Changed Da

StreamSets:Processing Changed Da

作者: 阿猫阿狗Hakuna | 来源:发表于2018-12-20 15:32 被阅读0次

       某些stage可以在pipeline中轻松的处理CDC或者事务性数据。
       启用了CDC的origin可以读取变化数据。在读取变化的数据时,它们确定与数据关联的CRUD操作,并在记录头属性的sdc.operation.type中指定具体的操作类型,例如insert、update、upsert或delete。
       在pipeline中使用启用了CDC的Origin和启用了CRUD的stage,可以便捷地将变化的数据从一个系统写入另一个系统。

一.CRUD Operation Header Attribute(CRUD操作头属性)

       启用CDC的origins在读取变化数据时会读取所有记录中的sdc.operation.type头属性。
       sdc.operation.type记录头属性使用以下整数表示CRUD操作:

  • 1:INSERT
  • 2:DELETE
  • 3:UPDATE
  • 4:UPSERT
  • 5:不支持的操作
  • 6:UNDELETE
  • 7:REPLACE
  • 8:MERGE

二.启用了CDC的Stages

(1)JDBC Query Consumer for Microsoft SQL Server
(2)MapR DB CDC
(3)MongoDB Oplog
(4)MySQL Binary Log
(5)Oracle CDC Client
(6)PostgreSQL CDC Client
(7)Salesforce
(8)SQL Parser
(9)SQL Server CDC Client
(10)SQL Server Change Tracking

相关文章

  • StreamSets:Processing Changed Da

    某些stage可以在pipeline中轻松的处理CDC或者事务性数据。 启用了CDC的origin可以读...

  • flask如何接受java传过来的二进制流

    https://scotch.io/bar-talk/processing-incoming-request-da...

  • StreamSets安装配置

    1.1.安装前准备 到StreamSets官网提供的下载址:https://archives.streamsets...

  • Streamsets

    https://streamsets.com/products/dataops-platformhttps://a...

  • Streaminsets

    Expression Language https://streamsets.com/documentation/...

  • Streamsets POC总结

    Streamsets介绍 Streamsets是一款大数据实时采集和ETL工具,可以实现不写一行代码完成数据的采集...

  • changed

    有时总是感到慌张,心怦怦的跳 但我却解释不清楚 就像面临考试的我依然在玩手机一样 控制不住 不…… 我要做一个自控...

  • Changed

    Sitting with the emptiness Drinking with nobody Do hope t...

  • changed

    “还有什么要补充的吗?”波瑞停下笔,看向对面的邦威,声音有些颤抖。 波瑞今年二十多岁,今年刚从警校毕业,在这个警察...

  • streamsets配置

网友评论

    本文标题:StreamSets:Processing Changed Da

    本文链接:https://www.haomeiwen.com/subject/zwvykqtx.html