某些stage可以在pipeline中轻松的处理CDC或者事务性数据。
启用了CDC的origin可以读取变化数据。在读取变化的数据时,它们确定与数据关联的CRUD操作,并在记录头属性的sdc.operation.type中指定具体的操作类型,例如insert、update、upsert或delete。
在pipeline中使用启用了CDC的Origin和启用了CRUD的stage,可以便捷地将变化的数据从一个系统写入另一个系统。
一.CRUD Operation Header Attribute(CRUD操作头属性)
启用CDC的origins在读取变化数据时会读取所有记录中的sdc.operation.type头属性。
sdc.operation.type记录头属性使用以下整数表示CRUD操作:
- 1:INSERT
- 2:DELETE
- 3:UPDATE
- 4:UPSERT
- 5:不支持的操作
- 6:UNDELETE
- 7:REPLACE
- 8:MERGE
二.启用了CDC的Stages
(1)JDBC Query Consumer for Microsoft SQL Server
(2)MapR DB CDC
(3)MongoDB Oplog
(4)MySQL Binary Log
(5)Oracle CDC Client
(6)PostgreSQL CDC Client
(7)Salesforce
(8)SQL Parser
(9)SQL Server CDC Client
(10)SQL Server Change Tracking
网友评论