美文网首页
脉冲星 7 月脉动 | Pulsar 2.5.0 版本预览,Pu

脉冲星 7 月脉动 | Pulsar 2.5.0 版本预览,Pu

作者: StreamNative | 来源:发表于2019-07-30 18:23 被阅读0次

    <meta charset="utf-8"> **# 脉冲星 7 月脉动

    本月看点速览

    • 产品动态

    • Pulsar 2.5.0 版本预览

    • 社区动态

    • Apache Pulsar Meetup (北京,报名中)

    • CSDI Summit

    • 中英文技术博客

    产品动态

    整个 7 月,2.5.0 版本的开发在紧张有序地进行,以下是本月添加的主要功能预览。

    在分层存储中支持 HDFS

    Pulsar 以分片为中心的架构使其可以高效存储无限的数据。为了避免数据在 bookie 中堆积导致成本过高,Pulsar 支持将分片转移到更为廉价的存储中:例如之前的 AWS S3、Google Cloud Storage,以及最新加入的 HDFS。

    通过在配置文件中指定 HDFS 相关的 defaultFS、路径、压缩方式等相关参数,你可以自动或者手动将 topic 中的数据以分片粒度卸载到 HDFS 中。

    更多信息,参阅 PR-4403

    在 Pulsar IO 的 JDBC Sink 中支持 Update 和 Delete 事件

    Pulsar IO 是将外部系统的数据输入到 Pulsar(Source)、或是将 Pulsar 数据写出到外部系统(Sink)的连接器。在 JDBC Sink 中支持了 Update 和 Delete 事件后,Pulsar topic 中的 Update 和 Delete 被翻译成相应的 DML,反应到 Pulsar Sink 的目标数据库中。

    更多信息,参阅 PR-4358

    PIP-31:事务支持

    Pulsar 保证消息分发的最高机制是 exactly-once,通过 Idempotent Producer 保证了一个分区内的消息只会被持久化一次,而不会丢失,但对多分区的生产者生产的消息没有原子性保证。在 Pulsar Functions 中只保证了一个事件的 exactly-once,但并不保证在处理多个事件或生产多个结果时事件的准确。事务消息语义简化了 Pulsar 或 Pulsar Functions 的使用,同时扩大了 Pulsar 的领域。目前已经有一些 commits 合并到主分支,将会在 2.5.0 版本支持事务。

    更多信息,参阅 PIP-31

    Schema 相关 BUG 修复

    Pulsar 提供了对 Schema 的内置支持,允许用户直接读取、写入有类型的消息,Pulsar 负责消息的兼容性验证以及序列化、反序列化工作。7 月修复的问题有:已删除的 Schema 对兼容性检查的影响、已删除的 Schema 对新建 Schema 的影响和无法在分区级别获取 topic schema。

    更多信息,参阅 PR-4469PR-4751PR-4731

    支持创建单分区的分区主题

    Pulsar 支持两种类型的主题:非分区主题和分区主题。之前创建分区主题的最小分区数是2,现在你可以先创建一个单分区的分区主题,随后根据需要调整主题的分区数。

    更多信息,参阅 PR-4764

    文档改进

    Pulsar 官网文档是理解 Pulsar 基本概念,了解 Pulsar 配置方式的最好去处。7月,官网文档集中在 Pulsar Functions、Pulsar Schema 和 Pulsar 升级方案三个方面进行了改进。

    更多信息,参阅

    社区动态

    Apache Pulsar Meetup | 北京站(报名中)

    2019 年 7 月,StreamNative 联合 Apache Pulsar、Apache Flink 两大社区,联合 Yahoo!Japan、腾讯、智联招聘和 EMQ 在北京积极筹备一场大型 Pulsar 专场活动。

    活动详情,查看 Apache Pulsar Meetup 邀请函

    CSDI Summit

    2019 年 7 月 19 ~21 日,为期三天的 CSDI 峰会(中国软件研发管理行业技术峰会)在深圳如期举办,StreamNative 联合创始人郭斯杰受邀在“云原生/Web 架构”会场做了”云原生消息系统 Apache Pulsar 简介”的主题演讲。

    更多信息,参阅 CSDI Summit

    技术干货

    本月发布了以下中英文技术博客:

    点击“阅读原文”,报名参加 Pulsar Meetup(北京站)

    https://www.huodongxing.com/event/1502359221000**

    相关文章

      网友评论

          本文标题:脉冲星 7 月脉动 | Pulsar 2.5.0 版本预览,Pu

          本文链接:https://www.haomeiwen.com/subject/izcorctx.html