经过不断地努力，社区成功发布 Pulsar Flink Connector 2.5.0 版本。Pulsar Flink Connector 集成了 Apache Pulsar 和 Apache Flink（数据处理引擎），允许 Apache Flink 向 Apache Pulsar 读写数据。
下面将详细介绍 Pulsar Flink Connector 2.5.0 引入的新特性，希望能够帮助大家更好地理解 Pulsar Flink Connector 。
背景
Flink 是一款快速发展的分布式计算引擎，在 1.11 版本中，支持以下新特性：
-
核心引擎引入了非对齐的 Checkpoint 机制。这一机制明显改善了 Flink 容错机制，它可以提高严重反压作业的 Checkpoint 速度。
-
提供一套新的 Source 接口。通过统一流和批作业 Source 的运行机制，支持常用的内部实现，如事件时间处理、watermark 生成和空闲并发检测。这套新的 Source 接口可以极大地降低开发新 Source 的复杂度。
-
Flink SQL 支持变动数据捕获（Change Data Capture，CDC）。它使 Flink 可以方便地通过像 Debezium 这类工具来翻译和消费数据库的变动日志。Table API 和 SQL 也有助于文件系统连接器支持更多用户场景和格式，从而支持将流式数据从 Pulsar 写入 Hive 等场景。
-
PyFlink 优化多个部分的性能，包括支持向量化的用户自定义函数（Python UDF）。这些改动使 Flink Python 接口可以与常用的 Python 库（如 Pandas 和 NumPy）进行相互操作，从而使 Flink 更适合数据处理与机器学习的场景。
在新版本发布后，为了让小伙伴们尽快使用支持 Flink 1.11 的 Pulsar Flink Connector，我们对新版 Pulsar Flink Connector 进行了升级。
我们发现这次升级难度很大，问题在于 Flink 新版本对于公开 API 的支持有增减（基础的 FieldsDataType 类型、StreamTableEnvironment 包变更和 execute 方法的变化）、Table 检查 Schema 操作变更为启动时检查、连接器运行时转换为 Catalog，直接使新旧版本不兼容。
经过多方考量，我们最终决定新增pulsar-flink-1.11 模块来支持 Flink 1.11。在这里非常感谢 BIGO 团队的陈航、吴展鹏，为社区贡献了 Flink 1.11 的兼容升级技术支持。
Pulsar Schema 包含消息的类型结构信息，它可以很好地和 Flink Table 进行集成。在 Flink 1.9 时，SQL 类型可以绑定物理类型，用于 Pulsar 的 SchemaType。
但是在 Flink 1.11，Table 变更后，SQL 类型只能使用默认的物理类型，Pulsar 的 SchemaType 不支持 Flink 日期、事件的默认物理类型。我们为 Pulsar Schema 添加了新的原生类型，使 Pulsar Schema 可以和 Flink SQL 类型系统集成起来。
Pulsar Flink Connector 新特性详解
以下是 Pulsar Flink Connector 2.5.0 中添加的一些主要的功能。
pulsar-flink
📣 支持 Flink 1.11 和 flink-sql DDL
Flink 1.11 版本升级的幅度较大，一些公共 API 发生了增删，导致 Flink 1.9、Flink 1.11 的 Pulsar 连接器无法做到兼容。本次变更使项目分为两个模块，来支持不同版本的 Flink。BIGO 的陈航、吴展鹏童鞋为此特性付出了很大的努力。
-
支持 Flink 1.11 版本
-
新增 Flink-sql DDL 支持
-
更新 topic 分区策略，使消费更均匀
-
Flink 1.11 兼容 Pulsar schema
有关实现的更多信息，请参见 PR-115。
📣添加 PulsarDeserializationSchema 接口
抽象 PulsarDeserializationSchema 接口，使用户可以自定义解码，获得更多源信息。
有关实现的更多信息，请参见 PR-95。
贡献者：@wuzhanpeng
📣Flink Sink 增加 JSON 支持
Flink Sink 实现中，Pulsar Schema 类型支持 JSON 。
有关实现的更多信息，请参见 PR-116。
贡献者：@jianyun8023
📣PulsarCatalog 变更为基于 GenericInMemoryCatalog 实现
PulsarCatalog 的实现变更为继承GenericInMemoryCatalog。
有关实现的更多信息，请参见 PR-91。
贡献者：@sijie
Pulsar Schema
📣增加 Java 8 时间、日期类型到 Pulsar Schema 的原生类型
为 Pulsar Schema 增加 Java 8 常用的 Instant、LocalDate、LocalTime、LocalDateTime 等类型支持。
有关实现的更多信息，请参见PR-7874。
贡献者：@jianyun8023
总结
Pulsar Flink Connector 2.5.0 的发布，对于这个快速发展的项目来说，是一个大的里程碑。在此特别感谢为本次版本发布做出贡献的陈航、吴展鹏、郭斯杰、赵建云。
如果你有好的想法或想成为项目贡献者，欢迎提交 ISSUE 至 https://github.com/streamnative/pulsar-flink/issues，也可以参考我们的贡献指南。
相关链接
网友评论