mysql-cdc-projects的网址中包含很多的mysql的cdc方法
以下是关于不同方法的一些基本总结
flexcdc --基于row二进制日志,PHP编xie
Flexviews中包含的CDC工具称为FlexCDC,FlexCDC是用PHP编写的。FlexCDC读取二进制日志 Binary Log以确定哪些行已经更改。因此,FlexCDC使用基于行的二进制日志(RBR)。如果没有MySQL 5.1或者没有使用RBR,那么可以设置一个专用的MySQL从站,它有log_slave_updates = 1和binlog_format = row来处理来自MySQL主站的SBR更改。
FlexCDC不实现完整的二进制日志解析器。而是调用“mysqlbinlog”实用程序,并处理该程序的可预测输出。
Databus -- 基于row二进制日志,捕获的变更数据位于内存中
databus
从数据源中读取变化的数据,并且将这些数据序列化保存在内存中;
Maxwell --基于二进制日志
Maxwell是一个守护程序,一个应用程序,能够读取MySQL Binlogs然后作为JSON写入Kafka,Kinesis,RabbitMQ,Google Cloud Pub / Sub或Redis的应用程序,支持表和库过滤。
mysql-binlog-connector-java--基于二
进制日志,java读取binlog
mysql-binlog-connector-java
(http://www.phpabc.cn/yi-gou-shu-ju-ku-biao-zai-xian-tong-bu.html)
主要有以下几个概念:
BinaryLogClient,使用binlog的客户端
Event,数据增删改查等都被抽象为一个事件
EventListener,事件监听者,当事件发生时得到通知
EventFilter,事件过滤器,这样EventListener就可以只监听符合条件的事件
Debezium
使用mysql-binlog-connector-java的方法
网友评论