美文网首页
Kafka概述

Kafka概述

作者: Shaw_Young | 来源:发表于2022-01-21 18:08 被阅读0次

定义

Kafka是一个分布式的基于发布/订阅模式消息队列(Message Queue),主要应用于大数据实时处理领域。

使用消息队列的好处

1)解耦
允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。

2)可恢复性
系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。

3)缓冲
有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处理速度不一致的情况。

4)灵活值&峰值处理能力
在访问量剧增的情况下,应用仍然需要继续发挥作用,但是这样的突发流量并不常见。如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请求而完全崩溃。

5)异步通信
很多时候,用户不想也不需要立即处理消息。消息队列提供了异步处理机制,允许用户把一个消息放入队列。但并不立即处理它。想向队列中放入多少消息就放多少,然后在需要的时候去处理它们。

相关文章

  • 六、Kafka Streams

    6.1 概述 6.1.1 Kafka Streams Kafka Streams。Apache Kafka开源项目...

  • KAFKA基础

    KAFKA概述 !/bin/bash /home/jmsops/app/kafka/bin/kafka-serve...

  • Kafka原理

    Kafka概述 Kafka构架 Kafka的Partition log是如何工作的? Kafka的Consumer...

  • 分布式消息队列 Kafka

    目录 Kafka概述

  • Spark Streaming实时流处理-3.分布式消息队列Ka

    0. 目录 Kafka概述 Kafka架构及核心概念 Kafka部署及使用 Kafka容错性测试 Kafka AP...

  • KafkaProducer

    Kafka源码阅读(一):Kafka Producer整体架构概述及源码分析 zqhxuyuan Kafka源码分...

  • Kafka 概述

    Kafka架构 Broker:Kafka集群包含一个或多个服务器,这种服务器被称为broker Topic:每条发...

  • Kafka 概述

    Kafka 能用来干嘛? 消息队列 实时数据处理, 流式处理(一般结合storm) 日志聚合等 Kafka 架构 ...

  • Kafka概述

    什么是kafka Kafka官网介绍kafka是一个分布式的流平台。 可以让你发布和订阅流式的记录。这一方面与消息...

  • Kafka 概述

    接触Kafka之前需要首先理解几个概念。 0、分布式系统 比较常见的概念:建立在计算机网络之上的软件系统,若干独立...

网友评论

      本文标题:Kafka概述

      本文链接:https://www.haomeiwen.com/subject/uxzehrtx.html