1.什么是 Apache Pulsar？

1.1 简介

Apache Pulsar 是新一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。

1.2 Pulsar 项目发起的背景

需求：解决 Yahoo 多租户、支撑上百万的 Topic 的问题，同时满足低延迟、持久化和跨地域复制要求。

已有系统存在的问题：
① 存储和计算耦合
② 存储对文件系统依赖太强
③ 运维复杂，替换机器、扩容需要重新均衡数据

2.架构

Pulsar 实例是由 1 个或者多个 Pulsar 集群构成， 其中多个 Pulsar 集群可以复制数据。

如下图所示，Pulsar 集群的组件有Borker、Bookie(BookKeeper)、ZK(Zookeeper)
● Broker 负责负载均衡、消息的读取和写入等；
● 采用 ZooKeeper 存储元数据、集群配置，作为 Coordination

■ Local Zookeeper 负责 Pulsar Cluster 内部的配置等
■ Global Zookeeper 则用于 Pulsar Cluster 之间的数据复制等

● 采用 Bookie 作为持久化存储
● Broker 中的 Global Replicators 负责集群间的数据复制

image.png

3.组件

3.1 Broker

Broker 是无状态的组件，主要由 4 个模块组成：
① Dispatcher：调度分发模块，承担协议转换、序列化反序列化等
② Load balancer：负载均衡模块，对访问流量进行控制管理
③ Service discovery：服务发现模块，为每个 topic 选择无状态的主节点
④ Global replicator：跨集群复制模块，承担异步的跨集群消息同步功能

说明：为了有更好的性能，通常是从 Managed Ledger 获取消息，如果挤压消息 backlog 超过缓存大小，则 Broker 会从 BookKeeper 读取数据。

3.2 元数据管理、集群配置和集群协调器 - Zookeeper

3.2.1 元数据管理

Pulsar 集群的元数据，包括 topic 元数据、schema、broker load data 等。

说明：
① 元数据和集群配置都需要全局一致的
② 每个集群都有自己的本地 ZooKeeper 集合，管理元数据、Broker 负载、BookKeeper ledger 元数据等

3.2.2 集群配置管理

维护一个 Pulsar 实例的所有配置，包括集群、租户、命名空间、topic partition 等。一个 Pulsar 实例可以有一个本地集群、多个本地集群或多个跨区域集群。因此，配置存储可以在 Pulsar 实例下的多个集群之间共享配置。

3.3 持久化存储 - BookKeeper

Pulsar 采用 Apache BookKeeper 作为消息的持久化存储。BookKeeper 是一个分布式 write-ahead log (WAL) 系统，有如下关键优势：
① 提供独立日志 ledgers，topic 都会创建自己的 ledger
② 高效存储，为有序的数据提供多个高效率副本
③ 强一致性，如果系统发生故障，可以保证 ledger 的读写一致性
④ 负载均衡，在多个 Bookies 之间均衡分布 I/O
⑤ 横向扩容，支持 Bookies 水平扩展，即可以向集群添加多个 Bookies
⑥ Bookies 支持数千个 ledger 同时读写

说明：BookKeeper 除了持久化消息数据，还会保存消费者的游标。

如下所示，Pulsar 支持持久化消息存储，即 topic 前缀体现了持久性：

persistent://tenant01/namespace01/myTopic

image.png

3.4 消息代码 - Pulsar proxy

Pulsar 客户端可以直连 Pulsar 集群，也可以通过代理间接通信，例如云环境、Kubernetes 等平台。Pulsar 代理相当于集群中的网关。

说明：为了性能和容错，可以运行任意多的 Pulsar 代理实例。

从架构的角度，Pulsar 代理是通过 Zookeeper 获取集群信息，其启动命令如下所示

$ cd /path/to/pulsar/directory
$ bin/pulsar proxy \
  --metadata-store zk:my-zk-1:2181,my-zk-2:2181,my-zk-3:2181 \
  --configuration-metadata-store zk:my-zk-1:2181,my-zk-2:2181,my-zk-3:2181

3.5 服务发现

Pulsar 服务发现中，当客户端对端点执行 HTTP 请求的时候，例如 pulsar://pulsar-cluster.acme.com:6650`，客户端可以通过 DNS 可以访问到集群。

image.png