美文网首页
Storm从入门到精通10:Storm的内部通信机制

Storm从入门到精通10:Storm的内部通信机制

作者: 金字塔下的小蜗牛 | 来源:发表于2020-04-04 23:15 被阅读0次

    Storm集群工作时,内部通信机制如下图所示:

    image

    (1)接收线程从网络上接收消息放到接收缓冲区,并发送到接收队列。

    (2)工作线程从接收队列拿到消息并处理,并将处理结果放到发送队列。

    (3)发送线程将发送队列中的消息放到发送缓冲区。

    (4)各个缓冲区的控制参数和默认大小:

    1. 接收缓冲区:topology.receiver.buffer.size = 8K;
    2. 接收队列:topology.executor.receiver.buffer.size = 1024K;
    3. 发送队列:topology.executor.send.buffer.size = 1024K;
    4. 发送缓冲区:topology.transfer.buffer.size = 1024K;

    相关文章

      网友评论

          本文标题:Storm从入门到精通10:Storm的内部通信机制

          本文链接:https://www.haomeiwen.com/subject/mrjkdhtx.html