作者:雄哥666

https://juejin.im/post/6895201419805392909

一、微服务网关Spring Cloud Gateway

1.1 导引

文中内容包含:微服务网关限流10万QPS、跨域、过滤器、令牌桶算法。

在构建微服务系统中,必不可少的技术就是网关了,从早期的Zuul,到现在的Spring Cloud Gateway,网关我们用的不可少。

今天我就将沉淀下来的所有与网关相关的知识,用一篇文章总结清楚,希望对爱学习的小伙伴们有所帮助。

本篇文章主要介绍网关跨域配置,网关过滤器编写,网关的令牌桶算法限流【每秒10万QPS】

首先我们来看什么是网关

1.2 什么是微服务网关Gateway?

This project provides a library for building an API Gateway on top of Spring WebFlux.

gateway官网:

https://spring.io/projects/spring-cloud-gateway

实现微服务网关的技术有很多,

  • nginx  Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器,同时也提供了IMAP/POP3/SMTP服务

  • zuul ,Zuul 是 Netflix 出品的一个基于 JVM 路由和服务端的负载均衡器。

  • spring-cloud-gateway, 是spring 出品的 基于spring 的网关项目,集成断路器,路径重写,性能比Zuul好。

我们使用gateway这个网关技术,无缝衔接到基于spring cloud的微服务开发中来。

1.3 微服务为什么要使用网关呢?

不同的微服务一般会有不同的网络地址,而外部客户端可能需要调用多个服务的接口才能完成一个业务需求,如果让客户端直接与各个微服务通信,会有以下的问题:

  1. 客户端会多次请求不同的微服务,增加了客户端的复杂性

  2. 存在跨域请求,在一定场景下处理相对复杂

  3. 认证复杂,每个服务都需要独立认证

  4. 难以重构,随着项目的迭代,可能需要重新划分微服务。例如,可能将多个服务合并成一个或者将一个服务拆分成多个。如果客户端直接与微服务通信,那么重构将会很难实施

  5. 某些微服务可能使用了防火墙 / 浏览器不友好的协议,直接访问会有一定的困难

以上这些问题可以借助网关解决。

网关是介于客户端和服务器端之间的中间层,所有的外部请求都会先经过 网关这一层。也就是说,API 的实现方面更多的考虑业务逻辑,而安全、性能、监控可以交由 网关来做,这样既提高业务灵活性又不缺安全性,典型的架构图如图所示:

1.4 微服务网关优点

  • 安全 ,只有网关系统对外进行暴露,微服务可以隐藏在内网,通过防火墙保护。

  • 易于监控。可以在网关收集监控数据并将其推送到外部系统进行分析。

  • 易于认证。可以在网关上进行认证,然后再将请求转发到后端的微服务,而无须在每个微服务中进行认证。

  • 减少了客户端与各个微服务之间的交互次数

  • 易于统一授权。

1.5 总结

微服务网关就是一个系统,通过暴露该微服务网关系统,方便我们进行相关的鉴权,安全控制,日志统一处理,易于监控的相关功能。历史文章:200期阶段汇总

二、微服务网关搭建及配置

2.1 微服务网关微服务搭建

由于我们开发的系统 有包括前台系统和后台系统,后台的系统给管理员使用。那么也需要调用各种微服务,所以我们针对管理后台搭建一个网关微服务。分析如下:

搭建步骤:

(1)依赖坐标pom.xml:

<dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-gateway</artifactId>
</dependency>
<dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-netflix-hystrix</artifactId>
</dependency>
<dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
</dependency>

(2)启动引导类:GatewayApplication

@SpringBootApplication
@EnableEurekaClient
public class GatewayApplication {public static void main(String[] args) {SpringApplication.run(GatewayApplication.class, args);}
}

(3)在resources下创建application.yml

spring:application:name: apigatewaycloud:gateway:routes:- id: openuri: lb://openpredicates:- Path=/open/**filters:- StripPrefix= 1- id: systemuri: lb://systempredicates:- Path=/system/**filters:- StripPrefix= 1
server:port: 9999
eureka:client:service-url:defaultZone: http://127.0.0.1:10086/eurekainstance:prefer-ip-address: true

参考官方手册:

https://cloud.spring.io/spring-cloud-gateway/spring-cloud-gateway.html#_stripprefix_gatewayfilter_factory

2.2 微服务网关跨域

在启动类GatewayApplication中,加入跨域配置代码如下

@Bean
public CorsWebFilter corsFilter() {CorsConfiguration config = new CorsConfiguration();config.addAllowedMethod("*");//支持所有方法config.addAllowedOrigin("*");//跨域处理 允许所有的域config.addAllowedHeader("*");//支持所有请求头UrlBasedCorsConfigurationSource source = new UrlBasedCorsConfigurationSource(new PathPatternParser());source.registerCorsConfiguration("/**", config);//匹配所有请求return new CorsWebFilter(source);
}

三、微服务网关过滤器

我们可以通过网关过滤器,实现一些逻辑的处理,比如ip黑白名单拦截、特定地址的拦截等。下面的代码中做了两个过滤器,并且设定的先后顺序。

(1)在网关微服务中创建IpFilter,无需配置其他,注册到Spring容器即可生效

@Component
public class IpFilter implements GlobalFilter, Ordered {@Overridepublic Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) {ServerHttpRequest request = exchange.getRequest();InetSocketAddress remoteAddress = request.getRemoteAddress();//TODO 设置ip白名单System.out.println("ip:"+remoteAddress.getHostName());return chain.filter(exchange);}@Overridepublic int getOrder() {return 1;}
}

(2)在网关微服务中创建UrlFilter,无需配置其他,注册到Spring容器即可生效

@Component
public class UrlFilter implements GlobalFilter, Ordered {@Overridepublic Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) {ServerHttpRequest request = exchange.getRequest();String url = request.getURI().getPath();//TODO 拦截特定URL地址System.out.println("url:"+url);return chain.filter(exchange);}@Overridepublic int getOrder() {return 2;}
}

四、网关限流每秒10万请求

我们之前说过,网关可以做很多的事情,比如,限流,当我们的系统 被频繁的请求的时候,就有可能 将系统压垮,所以 为了解决这个问题,需要在每一个微服务中做限流操作,但是如果有了网关,那么就可以在网关系统做限流,因为所有的请求都需要先通过网关系统才能路由到微服务中。

4.1 限流实现思路分析

看图就完了,非常简单!

4.2 令牌桶算法 介绍

令牌桶算法是比较常见的限流算法之一,大概描述如下:

1)所有的请求在处理之前都需要拿到一个可用的令牌才会被处理;

2)根据限流大小,设置按照一定的速率往桶里添加令牌;

3)桶设置最大的放置令牌限制,当桶满时、新添加的令牌就被丢弃或者拒绝;

4)请求达到后首先要获取令牌桶中的令牌,拿着令牌才可以进行其他的业务逻辑,处理完业务逻辑之后,将令牌直接删除;

5)令牌桶有最低限额,当桶中的令牌达到最低限额的时候,请求处理完之后将不会删除令牌,以此保证足够的限流

如下图:

这个算法的实现,有很多技术,Guava(读音: 瓜哇)是其中之一,redis客户端也有其实现。历史文章:200期阶段汇总

4.3 网关限流代码实现

需求:每个ip地址1秒内只能发送10万请求,多出来的请求返回429错误。

代码实现:

(1)spring cloud gateway 默认使用redis的RateLimter限流算法来实现。所以我们要使用首先需要引入redis的依赖
<!--redis-->
<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis-reactive</artifactId><version>2.1.3.RELEASE</version>
</dependency>
(2)定义KeyResolver

在GatewayApplicatioin引导类中添加如下代码,KeyResolver用于计算某一个类型的限流的KEY也就是说,可以通过KeyResolver来指定限流的Key。

    //定义一个KeyResolver@Beanpublic KeyResolver ipKeyResolver() {return new KeyResolver() {@Overridepublic Mono<String> resolve(ServerWebExchange exchange) {return Mono.just(exchange.getRequest().getRemoteAddress().getHostName());}};}
(3)修改application.yml中配置项,指定限制流量的配置以及REDIS的配置,修改后最终配置如下:
spring:application:name: apigatewaycloud:gateway:routes:- id: openuri: lb://openpredicates:- Path=/open/**filters:- StripPrefix= 1- name: RequestRateLimiter #请求数限流 名字不能随便写 args:key-resolver: "#{@ipKeyResolver}"redis-rate-limiter.replenishRate: 1redis-rate-limiter.burstCapacity: 1- id: systemuri: lb://systempredicates:- Path=/system/**filters:- StripPrefix= 1# 配置Redis 127.0.0.1可以省略配置redis:host: 101.57.2.128port: 6379
server:port: 9999
eureka:client:service-url:defaultZone: http://127.0.0.1:100/eurekainstance:prefer-ip-address: true

解释:

  • burstCapacity:令牌桶总容量。

  • replenishRate:令牌桶每秒填充平均速率。

  • key-resolver:用于限流的键的解析器的 Bean 对象的名字。它使用 SpEL 表达式根据#{@beanName}从 Spring 容器中获取 Bean 对象。

通过在replenishRate和中设置相同的值来实现稳定的速率burstCapacity。设置burstCapacity高于时,可以允许临时突发replenishRate。在这种情况下,需要在突发之间允许速率限制器一段时间(根据replenishRate),因为2次连续突发将导致请求被丢弃(HTTP 429 - Too Many Requests

key-resolver: "#{@userKeyResolver}" 用于通过SPEL表达式来指定使用哪一个KeyResolver.

如上配置:

表示 一秒内,允许 一个请求通过,令牌桶的填充速率也是一秒钟添加一个令牌。

最大突发状况 也只允许 一秒内有一次请求,可以根据业务来调整 。

(4)测试时需要注意服务启动顺序,这里需要依赖于Redis,所以首先要启动redis
  • 启动redis

  • 启动注册中心

  • 启动商品微服务

  • 启动gateway网关

  • 打开浏览器  http://localhost:9999/open

  • 快速刷新,当1秒内发送超过10万次请求,就会返回429错误。

那么问题来了:怎么发送10万次请求呢? 知道的同学,请在留言区评论。

限流10万QPS、跨域、过滤器、令牌桶算法-网关Gateway内容乔哥都给你总结在这儿了...相关推荐

  1. 限流10万QPS、跨域、过滤器、令牌桶算法-网关Gateway内容都在这儿

    点击上方 好好学java ,选择 星标 公众号 重磅资讯.干货,第一时间送达 今日推荐:硬刚一周,3W字总结,一年的经验告诉你如何准备校招! 个人原创100W+访问量博客:点击前往,查看更多 作者:雄 ...

  2. 网关限流(令牌桶算法)

    一.需求: 每个ip地址1秒内只能发送1次请求,多出来的请求返回429错误. 二.引入依赖 spring cloud gateway 默认使用redis的RateLimter限流算法来实现.所以我们要 ...

  3. 高并发系统限流-漏桶算法和令牌桶算法

    参考: https://www.cnblogs.com/xuwc/p/9123078.html http://www.cnblogs.com/LBSer/p/4083131.html https:// ...

  4. java令牌_基于令牌桶算法的Java限流实现

    项目需要使用限流措施,查阅后主要使用令牌桶算法实现,为了更灵活的实现限流,就自己实现了一个简单的基于令牌桶算法的限流实现. 令牌桶算法描述 令牌桶这种控制机制基于令牌桶中是否存在令牌来指示什么时候可以 ...

  5. 用令牌桶算法完成API接口限流

    这是张富涛的第15篇原创 用令牌桶算法完成API接口限流 本文介绍了"令牌桶算法",和使用lua+redis实现基于令牌桶算法的限流. 1. 限流需求的产生背景 软件开发时偶尔会面 ...

  6. 带你快速了解:限流中的漏桶和令牌桶算法

    在前文 <限流熔断是什么,怎么做,不做行不行?>中针对 "限流" 动作,有提到流量控制其内部对应着两种常用的限流算法. 其分别对应漏桶算法和令牌桶算法.因此会有的读者会 ...

  7. 跨域失败 过滤器_Spring Boot 跨域过滤器(过滤器跨域问题)

    重写WebMvcConfigurer#addCorsMappings()可以解决一部分跨域的问题,但是对于有些过滤器涉及到跨域,且拦截器位面较高的话,还是会出现一些跨域问题. 配置 CorsFilte ...

  8. SpringBoot之跨域过滤器配置允许跨域访问

    跨域请求 当一个资源从与该资源本身所在的服务器不同的域或端口请求一个资源时,资源会发起一个跨域 HTTP 请求. 出于安全原因,浏览器限制从脚本内发起的跨源HTTP请求. 例如,XMLHttpRequ ...

  9. 【229期】Spring Boot 使用令牌桶算法+拦截器+自定义注解+自定义异常实现简单的限流...

    点击上方"Java精选",选择"设为星标" 别问别人为什么,多问自己凭什么! 下方有惊喜,留言必回,有问必答! 每天 08:15 更新文章,每天进步一点点... ...

  10. 令牌桶算法和漏桶算法有什么区别_高并发之限流,到底限的什么鬼 (精品长文)...

    你可能知道高并发系统需要限流这个东西,但具体是限制的什么,该如何去做,还是模凌两可.我们接下来系统性的给它归个小类,希望对你有所帮助. google guava中提供了一个限流实现: RateLimi ...

最新文章

  1. 干货!一文读懂人工智能和机器学习有什么关系
  2. 腾讯朋友力荐书籍:程序员的自我修养:链接、装载与库
  3. Pipenv: Python包管理神器
  4. 一分钟开发一个hello world级别的wordpress插件
  5. Android,监控ContentProvider的数据改变
  6. jsp工程防止外部注入_防止 jsp被sql注入的五种方法
  7. 信息学奥赛一本通 1118:铺地毯 | 1863:【11NOIP提高组】铺地毯 | OpenJudge NOI 1.9 14 | 洛谷 P1003 [NOIP2011 提高组] 铺地毯
  8. AngularJS 技术总结
  9. mysqli_connect参数的写法以及如何设置特定端口
  10. gflags的使用实例(转载)
  11. quartz定时任务cron表达式详解
  12. html5shiv.js 的作用
  13. 水表188协议测试软件,水表下行通信规约标准188协议-V1.5标准版.pdf
  14. 用户控制 键盘鼠标自定义 脚本
  15. IC 卡、M1 卡、CPU 卡、SAM 卡、PSAM 卡的联系与区别
  16. joda DateTimeFormatter simpleDateFormat
  17. 计算机二级打字的速度有要求么,打字速度几个要求和技巧
  18. Python绘制3D图形:Axes3D
  19. 【百度】智能音箱尝鲜价竟然才xx元!
  20. 达尔文流媒体服务器搭配

热门文章

  1. SWing组件说明及使用
  2. linux查找文件夹命令
  3. 软件测试处理事物一般步骤,软件设计师考试题型分析及解法经验
  4. Unity学习心得3
  5. Aimo:盘姬工具箱CruiserEXP forWin.
  6. 洛谷p1179数字统计
  7. android文件恢复功能,安卓手机误删文件恢复?快速恢复办法
  8. 光刻中G线,I线,H线为什么叫G线,I线,H线而不是叫别的什么线?
  9. 左斜杠和右斜杠的区别
  10. 西安工业大学计算机考研分数线,西安工业大学研究生录取分数线