如何利用 “集群流控” 保障微服务的稳定性？

作者：宿何

微服务的稳定性一直是开发者非常关注的话题。随着业务从单体架构向分布式架构演进以及部署方式的变化，服务之间的依赖关系变得越来越复杂，业务系统也面临着巨大的高可用挑战。应用高可用服务 AHAS (Application High Availability Service) 是经阿里巴巴内部多年高可用体系沉淀下来的云产品，以流量与容错为切入点，从流量控制、不稳定调用隔离、熔断降级、热点流量防护、系统自适应保护、集群流控等多个维度来帮助保障服务的稳定性，同时提供秒级的流量监控分析功能。AHAS 不仅在阿里内部淘宝、天猫等电商领域有着广泛的应用，在互联网金融、在线教育、游戏、直播行业和其他大型政央企行业也有着大量的实践。

流控是保障微服务稳定性最常用也是最直接的一种控制手段。每个系统、服务都有其能承载的容量上限，流控的思路非常简单，当某个接口的请求 QPS 超出一定的上限后，拒绝多余的请求，防止系统被突发的流量打垮。市面上最常见的方案是单机维度的流控，比如通过 PTS 性能测试预估某个接口的容量上限是 100 QPS，服务有 10 个实例，则配置单机流控 10 QPS。但很多时候，由于流量分布的不确定性，单机维度的流量控制存在一些效果不佳的情况。

典型场景 1:精确控制对下游的调用总量

场景： 服务 A 需要频繁调用服务 B 的查询接口，但服务 A 和 B 的容量存在差异，服务 B 约定最多给服务 A 提供总共 600 QPS 的查询能力，通过流控等手段进行控制。

痛点： 若按照单机流控的策略配置，由于调用逻辑、负载均衡策略等原因，A 调用 B 到达每个实例的流量分布可能非常不均，部分流量较大的服务 B 实例触发单机流控，但总体限制量尚未达到，导致 SLA 未达标。这种不均的情况经常会发生在调用某个依赖服务或组件（如数据库访问）的时候，这也是集群流控的一个典型场景：精确控制微服务集群对下游服务（或数据库、缓存）的调用总量。

典型场景 2：业务链路入口进行请求总量控制

场景： 在 Nginx/Ingress 网关、API Gateway (Spring Cloud Gateway, Zuul) 进行入口流量控制，希望精确控制某个或某组 API 的流量来起到提前保护作用，多余流量不会打到后端系统。

痛点： 如果按照单机维度配置，一方面不好感知网关机器数变化，另一方面网关流量不均可能导致限流效果不佳；而且从网关入口角度来讲，配置总体阈值是最自然的手段。

AHAS 集群流控

AHAS 集群流控可以精确地控制某个服务接口在整个集群的实时调用总量，可以解决单机流控因流量不均匀、机器数频繁变动、均摊阈值太小导致限流效果不佳的问题，结合单机流控兜底，更好地发挥流量防护的效果。

对于上面的场景，通过 AHAS 集群流控，无论是 Dubbo 服务调用、Web API 访问，还是自定义的业务逻辑，均支持精确控制调用总量，而无关调用逻辑、流量分布情况、实例分布。既可以支撑数十万 QPS 大流量控制，也支持分钟小时级业务维度小流量精确控制。防护触发后的行为可由用户自定义（如返回自定义的内容、对象）。

AHAS 集群防护具有以下几大优势：

场景丰富： 全面覆盖从网关/Mesh 入口流量精确防护、Web/RPC 服务/SQL 调用精确流控，到分钟小时级业务维度流量控制的场景，支持数十万 QPS 量级；
低使用成本： 无需特殊接入方式，开箱即用，快速配置；
全自动管控与运维： 自动化管控与分配 token server 资源，自动化运维能力保障可用性，用户无需关注服务端资源准备与分配，只需关注规则配置与业务流程；
低性能损耗： 性能模式下对业务链路完全无时延增加，精确模式对业务链路的 RT 损耗控制在 3ms 之内，用户可放心使用；
配套的可观测能力， 实时了解接口稳定性与规则生效情况。

下面我们就来用一个示例来介绍一下，如何快速将应用接入 AHAS 来玩转集群流控能力，保障服务稳定性。

快速玩转 AHAS 集群流控

第一步，我们将服务或网关接入 AHAS 流量防护。AHAS 提供多种快速便捷的无侵入接入手段：

AHAS 流量防护支持 Java/Go/C++/PHP 等多语言原生接入，以及 Nginx/Ingress 网关接入和 Mesh 接入；Java 应用支持全方位的 20+ 种微服务框架/组件（详情见文末相关链接）：

Web 服务端：Spring Web/Spring Boot/Spring Cloud/Tomcat/Jetty/Undertow
Web client：OkHttp/Apache HttpClient
RPC：Dubbo/Feign/gRPC
DAO/缓存：MyBatis/Spring Data JPA/Memcached/Jedis client
MQ consumer：RocketMQ client/Kafka client/RocketMQ client
API Gateway：Spring Cloud Gateway/Zuul 1.x
Reactor 框架

接入 AHAS 成功后，只要触发服务调用/接口访问，即可在 AHAS 控制台（详情见文末相关链接）看到自己的服务，并可以在监控页面看到自己的接口：

第二步，我们在应用左侧菜单的“集群流控-集群配置”页面，开启集群流控功能。测试应用我们可以开启“试用”集群，不同的集群规格可以承载不同的 QPS 量级：

第三步，我们在实时监控页面找一个接口，点击右上角的“+”号，新增流控规则（详情见文末相关链接）。以下示例中，我们对 /doSomething 这个接口配置集群流控规则，这个接口总的访问量每秒钟不超过 200 次。规则状态为“开启”，代表新增后实时生效。

点击下一步，我们还可以给选择的 Web/RPC 调用配置防护规则触发后的处理逻辑（详情见文末相关链接），如自定义返回值。最终配置完成后，我们点击新增按钮，这条规则就会生效到每个节点。

配置完毕后，我们可以向应用集群中不同机器发起一定数量的该接口请求，可以发现每秒钟超过 200 个请求后会自动返回我们在规则中预设好的返回行为；同时控制台实时监控页面也可以看到，多余的流量被拒绝，接口每秒钟通过的总量级平稳在 200 QPS：

通过几步简单的配置，我们就可以快速体验 AHAS 集群流控给业务流量带来“如丝般顺滑”的保护能力；同时最近 AHAS 还新上线 Nginx/Ingress 网关入口流量防护、Web 请求参数流控（详情见文末相关链接）等核心功能，欢迎大家点击阅读原文，在前往 AHAS 控制台进行快速体验。

相关链接

1）全方位的 20+ 种微服务框架/组件：

https://help.aliyun.com/document_detail/128800.html

2）AHAS 控制台：

https://common-buy.aliyun.com/?commodityCode=ahas_001#/buy

3）新增流控规则：

https://help.aliyun.com/document_detail/174871.html

4）防护规则触发后的处理逻辑https://help.aliyun.com/document_detail/290938.html

5）Nginx/Ingress 网关入口流量防护https://help.aliyun.com/document_detail/209640.html

6）Web 请求参数流控https://help.aliyun.com/document_detail/337922.html