原文地址：https://kafka.apache.org/0101/documentation.html#design_quotas
从0.9版本开始，Kafka可以对生产和消费请求进行限额配置。基于字节速率来限制，每个group中所有的客户端共享一个限额。
Why are quotas necessary?
Producer和Consumer可能生产或消费大量的数据而耗尽Broker的资源，导致网络饱和。进行限额可以避免这些问题，特别是在多租户的集群中，一小部分低质量的客户端会降低整个集群的体验。实际上，当运行Kafka作为服务时，这还可以对API的使用进行限制。
Client groups
Kafka客户端的身份代表了用于鉴权。 在无鉴权机制的集群中，用户身份是由服务器使用可配置的PrincipalBuilder进行选择的，Client-id作为客户端逻辑分组，是由客户端应用选择的一个有意义的名称。标量(user, client-id)定义共享这个用户身份和客户端ID的逻辑客户端分组。
配额可以用于(user, client-id)组合，或user，client-id分组。
对一个给定的连接，最符合这个连接的配额被使用到，一个限额组的所有连接共享这个限额配置，例如：如果(user=”test-user”, client-id=”test-client”) 10MB/s的配额，这个配置会被所有的具有”test-user”用户和客户端ID是 “test-client”的所有生产者所共享。
Quota Configuration
配额可以按照(user, client-id)或者, user或client-id进行分组, 如果需要更高或更低的配额, 可以覆盖默配额, 这个机制类似于对日志主题配置的覆盖, user 或者 (user, client-id)配额可以覆盖写入到zookeeper下的 /config/users ,client-id配置, 可以写入到 /config/clients。这些覆盖写入会被服务器很快的读取到, 这让我们修改配置不需要重新启动服务器. 每个分组的默认配置也可以同样的方式动态修改。
限额的配置顺序如下：
- 1./config/users//clients/
- 2./config/users//clients/
- 3./config/users/
- 4./config/users//clients/
- 5./config/users//clients/
- 6./config/users/
- 7./config/clients/
- 8./config/clients/
Broker的quota.producer.default，quota.consumer.default也可以用来配置默认的client-id分组的默认值。这可属性已经不鼓励使用，后续将会删除。默认client-id限额配置可以和其它默认配置一样，在Zookeeper直接设置。
Enforcement
默认情况下，每个唯一的客户端group会收到一个集群配置的固定的限额。这个限额是基于每个Broker的。每个客户端能发布或获取在每台服务器都的最大速率, 我们按服务器定义配置, 而不是按整个集群定义,是因为如果是集群范围的需要额外的机制来共享配额的使用情况, 这会导致配额机制的实现比较难。
Broker检测到限额违规时时如何处理的？在我们的解决方案中，Broker不会返回错误给客户端，而是降低客户端的速率。Broker计算使客户端回到合理限额的需要的响应延迟。这种方法的处理对客户端是透明，使他们不必执行任何棘手的，特殊的操作。实际上，错误的客户端还可能加剧正在解决的限额问题。
客户端字节率在多个小窗口（例如每个1秒的30个窗口）上进行测量，以便快速检测和纠正配额违规。 通常，具有大的测量窗口（例如，每个30秒的10个窗口）导致大量的流量脉冲，随后是长时间的延迟，这在用户体验方面不是很好。
网友评论