Kafka Connect
Kafka Connect是kafka的一个开源组件，是一个用于连接kafka与外部系统(eg:mysql，Hbase，Cassandra)的框架。
使用已经存在的 connector 可以把数据导入kafka或者从kafka导出。
Source Connector
将外部系统的数据导入至kafka的topic。
例如：JDBCSourceConnector 将关系数据库数据导入Kafka
Sink Connector
将kafka topic数据导出到外部系统中。
例如：HDFSSinkConnector 将 Kafka topic 的数据导出到HDFS文件。
Kafka Connect专注于数据流传输，我们可以很方便的编写高质量、可靠、高性能的连接器插件。
Kafka Connect可以在单个机器上运行，也可以分布式运行。
使用kafka connect的好处：
- 以数据为中心的管道-将有意义的数据提取或推送到kafka
- 灵活性和扩展性-单节点或分布式运行(官方推荐分布式运行)
- 可重用性可可扩展性-利用现有连接器或扩展以满足需求
相关文章：
Kafka Connect JDBC Connector使用教程
Kafka Connector 开发指南
可以添加作者微信进行相互学习交流，还请填写备注信息。
image
网友评论