原文地址:https://kafka.apache.org/0101/documentation.html#design_quotas
从0.9版本开始,Kafka可以对生产和消费请求进行限额配置。基于字节速率来限制,每个group中所有的客户端共享一个限额。
Why are quotas necessary?
Producer和Consumer可能生产或消费大量的数据而耗尽Broker的资源,导致网络饱和。进行限额可以避免这些问题,特别是在多租户的集群中,一小部分低质量的客户端会降低整个集群的体验。实际上,当运行Kafka作为服务时,这还可以对API的使用进行限制。
Client groups
Kafka客户端的身份代表了用于鉴权。 在无鉴权机制的集群中,用户身份是由服务器使用可配置的PrincipalBuilder进行选择的,Client-id作为客户端逻辑分组,是由客户端应用选择的一个有意义的名称。标量(user, client-id)定义共享这个用户身份和客户端ID的逻辑客户端分组。
配额可以用于(user, client-id)组合,或user,client-id分组。
对一个给定的连接,最符合这个连接的配额被使用到,一个限额组的所有连接共享这个限额配置,例如:如果(user=”test-user”, client-id=”test-client”) 10MB/s的配额,这个配置会被所有的具有”test-user”用户和客户端ID是 “test-client”的所有生产者所共享。
Quota Configuration
配额可以按照(user, client-id)或者, user或client-id进行分组, 如果需要更高或更低的配额, 可以覆盖默配额, 这个机制类似于对日志主题配置的覆盖, user 或者 (user, client-id)配额可以覆盖写入到zookeeper下的 /config/users ,client-id配置, 可以写入到 /config/clients。这些覆盖写入会被服务器很快的读取到, 这让我们修改配置不需要重新启动服务器. 每个分组的默认配置也可以同样的方式动态修改。
限额的配置顺序如下:
- 1./config/users//clients/
- 2./config/users//clients/
- 3./config/users/
- 4./config/users//clients/
- 5./config/users//clients/
- 6./config/users/
- 7./config/clients/
- 8./config/clients/
Broker的quota.producer.default,quota.consumer.default也可以用来配置默认的client-id分组的默认值。这可属性已经不鼓励使用,后续将会删除。默认client-id限额配置可以和其它默认配置一样,在Zookeeper直接设置。
Enforcement
默认情况下,每个唯一的客户端group会收到一个集群配置的固定的限额。这个限额是基于每个Broker的。每个客户端能发布或获取在每台服务器都的最大速率, 我们按服务器定义配置, 而不是按整个集群定义,是因为如果是集群范围的需要额外的机制来共享配额的使用情况, 这会导致配额机制的实现比较难。
Broker检测到限额违规时时如何处理的?在我们的解决方案中,Broker不会返回错误给客户端,而是降低客户端的速率。Broker计算使客户端回到合理限额的需要的响应延迟。这种方法的处理对客户端是透明,使他们不必执行任何棘手的,特殊的操作。实际上,错误的客户端还可能加剧正在解决的限额问题。
客户端字节率在多个小窗口(例如每个1秒的30个窗口)上进行测量,以便快速检测和纠正配额违规。 通常,具有大的测量窗口(例如,每个30秒的10个窗口)导致大量的流量脉冲,随后是长时间的延迟,这在用户体验方面不是很好。