美文网首页
轻量消息中间件NATS与NSQ的介绍和比较

轻量消息中间件NATS与NSQ的介绍和比较

作者: 传说中的健 | 来源:发表于2019-06-05 10:10 被阅读0次

    NATS

    1. 语言

    • server:GO
    • 官方支持client库:GO、C等

    2. 设计特点

    • 高效
    • 稳定可用
    • 轻量
    • 支持多种消息策略(at-most-once,at-least-once)
    • 支持多种模式
    • streaming下提供可配置的消息持久化

    3. 多种消息发布模式

    • 生产-消费(发布-订阅)模式
      • 一对多
      • 两种策略:
        at-most-once(只保证w/tcp的可靠性):消息无接受者时,则该消息丢失。即消息发送后不关心是否有接收。该策略以降低可靠性换取了性能(吞吐量)。可靠性由使用者自行设计保证。
        at-least-once:在消息可靠性要求更高的场合,使用nats streaming。监控消息是否到达每一个订阅者。降低性能(吞吐量)换取可靠性。
    • 请求-响应模式
      • 点对点/一对多。
      • 发布者发布消息需要收到响应。接受者可提前将响应放入“信箱”中。发布者只接收第一个响应。(如何配置一对多模型接收多个响应?)
    • 队列订阅与协同工作
      • 订阅的不是主题,而是队列。是一种负载均衡和容灾策略。
      • 队列中每个消息,随机发给一个订阅者。订阅者数量可随时增减。 (具体如何分配合适的订阅者?)

    4. 包含组件

    • nats-server at-most-once策略下的server
    • nats-streaming-server at-least-once策略下的server
    • nats-req
    • nats-rply

    5. 部署


    nats-server -p 4222 -cluster nats://localhost:6222 -routes nats://localhost:6222,nats://localhost:6333
    client监听端口 4222,集群监听端口6222,所有集群通信端口6222(本server忽略)、6333

    6. 小结

    nats轻量易用,可完成消息传输的基本功能,具有消息确认机制和持久化接口。不足之处在于消息确认管理和持久化具体方法需要用户自行实现。总的来说,nats提供的是最基本的功能。消息由订阅者创建,默认大小限制1MB

    NSQ

    1. 语言

    • 开发语言 go
    • client支持语言go,c++(部分支持)等

    2. 设计特点

    • 支持拓扑,实现高可用性并消除SPOF
    • 解决了对更强大的消息传递可靠性的需求
    • 限制单个进程的内存占用(通过将某些消息保存到磁盘)
    • 大大简化了生产者和消费者的配置要求
    • 提供简单的升级途径
    • 提高效率

    3. 组件及概念

    • nsqd 每个host上有一个nsqd。包含一个或多个消息流即topic,每个topic可以有多个channel,各channel是该topic相互独立的队列。生产者通过nsqd广播生产的消息。
    • nsqlookupd 服务发现辅助进程。消费者通过nsqlookupd找到关心topics所在的host,channel等信息,与nsqd直接通信。nsqlookupd通过tcp与各nsqd连接。
    • nsqadmin 基于web的可视化集群监控和管理服务。

    4. 可靠性机制

    • 消息传输采用 at-least-once
    • 协议保证: nsqd 发送消息,并暂存;client响应消息;如果nsqd未收到响应,则消息自动重排列(?)
    • 缺陷:nsqd出错,则会丢失该nsqd暂存的消息。(可一定程度配置队列的持久化,即限制内存中消息的数量)

    5. 部署/使用

    启动nsqlookupd
    nsqlookupd
    启动nsqd
    nsqd --lookupd-tcp-address=127.0.0.1:4160
    producer发布消息
    curl -d 'hello world 1' 'http://127.0.0.1:4151/pub?topic=test'
    consumer接收消息
    nsq_to_file --topic=test --output-dir=/tmp --lookupd-http-address=127.0.0.1:4161
    后台管理
    nsqadmin --lookupd-http-address=127.0.0.1:4161

    6. 小结

    nsq也具有轻量易用的特点,通过服务发现构建订阅关系,具有完善的消息确认机制,以及直接可用的一定程度持久化措施。不足之处在于各节点定位对称,负载不平衡时需要其他策略进行处理。而且直接由生产者和消费者进行通信,在通信量大时网络资源消耗量大(重复建立可靠连接)。

    NATS与NSQ的比较

    在通信规模不大的场景下,使用NSQ可以发挥使用简洁(nsqd不用可见其他nsqd)和可靠的确认机制,但需要注意nsqd驻留内存的部分消息,可能在进程失效时丢失。需要考虑负载均衡或大规模通信量的情况下,采用NATS更为适合,但其消息传输的持久化和可靠性需要自行增加策略和实现。

    参考资料

    NAST官方文档
    NSQ官方文档

    相关文章

      网友评论

          本文标题:轻量消息中间件NATS与NSQ的介绍和比较

          本文链接:https://www.haomeiwen.com/subject/vzljxctx.html