java服务限流_Java实现系统限流
在微服务系统中,缓存、限流、熔断是保证系统高可用的三板斧,今天我们就来聊聊限流。
限流是保障系统高可用的方式之一,当然啦也是大厂高频面试题,如果阿里的面试官问一句:“如何实现每秒钟1K个请求的限流?”,你要是分分钟给他写上几种限流方案,那岂不香哉,哈哈:smirk:! 话不多说,我来列几种常用限流实现方式。
Guava RateLimiter
Guava是Java领域很优秀的开源项目,包含了日常开发常用的集合、String、缓存等, 其中RateLimiter是常用限流工具。
RateLimiter是基于令牌桶算法实现的,如果每秒10个令牌,内部实现,会每100ms生产1个令牌。
使用Guava RateLimiter
引入pom依赖:
com.google.guava
guava
23.0
复制代码
代码:
public class GuavaRateLimiterTest {
//比如每秒生产10个令牌,相当于每100ms生产1个令牌
private RateLimiter rateLimiter = RateLimiter.create(10);
/**
* 模拟执行业务方法
*/
public void exeBiz() {
if (rateLimiter.tryAcquire(1)) {
try {
Thread.sleep(500);
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println("线程" + Thread.currentThread().getName() + ":执行业务逻辑");
} else {
System.out.println("线程" + Thread.currentThread().getName() + ":被限流");
}
}
public static void main(String[] args) throws InterruptedException {
GuavaRateLimiterTest limiterTest = new GuavaRateLimiterTest();
Thread.sleep(500);//等待500ms,让limiter生产一些令牌
//模拟瞬间生产100个线程请求
for (int i = 0; i < 100; i++) {
new Thread(limiterTest::exeBiz).start();
}
}
}
复制代码
滑窗计数
打个比方,某接口每秒允许100个请求,设置一个滑窗,窗口中有10个格子,每个格子占100ms,每100ms移动一次。滑动窗口的格子划分的越多,滑动窗口的滚动就越平滑,限流的统计就会越精确。
代码:
/**
* 滑窗计数器
*/
public class SliderWindowRateLimiter implements Runnable {
//每秒允许的最大访问数
private final long maxVisitPerSecond;
//将每秒时间划分N个块
private final int block;
//每个块存储的数量
private final AtomicLong[] countPerBlock;
//滑动窗口划到了哪个块儿,可以理解为滑动窗口的起始下标位置
private volatile int index;
//目前总的数量
private AtomicLong allCount;
/**
* 构造函数
*
* @param block,每秒钟划分N个窗口
* @param maxVisitPerSecond 每秒最大访问数量
*/
public SliderWindowRateLimiter(int block, long maxVisitPerSecond) {
this.block = block;
this.maxVisitPerSecond = maxVisitPerSecond;
countPerBlock = new AtomicLong[block];
for (int i = 0; i < block; i++) {
countPerBlock[i] = new AtomicLong();
}
allCount = new AtomicLong(0);
}
/**
* 判断是否超过最大允许数量
*
* @return
*/
public boolean isOverLimit() {
return currentQPS() > maxVisitPerSecond;
}
/**
* 获取目前总的访问数
*
* @return
*/
public long currentQPS() {
return allCount.get();
}
/**
* 请求访问进来,判断是否可以执行业务逻辑
*/
public void visit() {
countPerBlock[index].incrementAndGet();
allCount.incrementAndGet();
if (isOverLimit()) {
System.out.println(Thread.currentThread().getName() + "被限流" + ",currentQPS:" + currentQPS() + ",index:" + index);
} else {
System.out.println(Thread.currentThread().getName() + "执行业务逻辑" + ",currentQPS:" + currentQPS() + ",index:" + index);
}
}
/**
* 定时执行器,
* 每N毫秒滑块移动一次,然后再设置下新滑块的初始化数字0,然后新的请求会落到新的滑块上
* 同时总数减掉新滑块上的数字,并且重置新的滑块上的数量
*/
@Override
public void run() {
index = (index + 1) % block;
long val = countPerBlock[index].getAndSet(0);
allCount.addAndGet(-val);
}
public static void main(String[] args) {
SliderWindowRateLimiter sliderWindowRateLimiter = new SliderWindowRateLimiter(10, 100);
//固定的速率移动滑块
ScheduledExecutorService scheduledExecutorService = Executors.newSingleThreadScheduledExecutor();
scheduledExecutorService.scheduleAtFixedRate(sliderWindowRateLimiter, 100, 100, TimeUnit.MILLISECONDS);
//模拟不同速度的请求
new Thread(() -> {
while (true) {
sliderWindowRateLimiter.visit();
try {
Thread.sleep(10);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}).start();
//模拟不同速度的请求
new Thread(() -> {
while (true) {
sliderWindowRateLimiter.visit();
try {
Thread.sleep(50);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}).start();
}
}
复制代码
信号量
利用Semaphore,每隔固定速率,释放Semaphore的资源。线程获取到资源,则执行业务代码。
代码:
public class SemaphoreOne {
private static Semaphore semaphore = new Semaphore(10);
public static void bizMethod() throws InterruptedException {
if (!semaphore.tryAcquire()) {
System.out.println(Thread.currentThread().getName() + "被拒绝");
return;
}
System.out.println(Thread.currentThread().getName() + "执行业务逻辑");
Thread.sleep(500);//模拟处理业务逻辑需要1秒
semaphore.release();
}
public static void main(String[] args) {
Timer timer = new Timer();
timer.scheduleAtFixedRate(new TimerTask() {
@Override
public void run() {
semaphore.release(10);
System.out.println("释放所有锁");
}
}, 1000, 1000);
for (int i = 0; i < 10000; i++) {
try {
Thread.sleep(10);//模拟每隔10ms就有1个请求进来
} catch (InterruptedException e) {
e.printStackTrace();
}
new Thread(() -> {
try {
SemaphoreOne.bizMethod();
} catch (InterruptedException e) {
e.printStackTrace();
}
}).start();
}
}
}
复制代码
令牌桶
令牌桶算法:一个存放固定容量令牌的桶,按照固定速率往桶里添加令牌,如有剩余容量则添加,没有则放弃。如果有请求进来,则需要先从桶里获取令牌,当桶里没有令牌可取时,则拒绝任务。
令牌桶的优点是:可以改变添加令牌的速率,一旦提高速率,则可以处理突发流量。
代码:
public class TokenBucket {
/**
* 定义的桶
*/
public class Bucket {
//容量
int capacity;
//速率,每秒放多少
int rateCount;
//目前token个数
AtomicInteger curCount = new AtomicInteger(0);
public Bucket(int capacity, int rateCount) {
this.capacity = capacity;
this.rateCount = rateCount;
}
public void put() {
if (curCount.get() < capacity) {
System.out.println("目前数量==" + curCount.get() + ", 我还可以继续放");
curCount.addAndGet(rateCount);
}
}
public boolean get() {
if (curCount.get() >= 1) {
curCount.decrementAndGet();
return true;
}
return false;
}
}
@Test
public void testTokenBucket() throws InterruptedException {
Bucket bucket = new Bucket(5, 2);
//固定线程,固定的速率往桶里放数据,比如每秒N个
ScheduledThreadPoolExecutor scheduledCheck = new ScheduledThreadPoolExecutor(1);
scheduledCheck.scheduleAtFixedRate(() -> {
bucket.put();
}, 0, 1, TimeUnit.SECONDS);
//先等待一会儿,让桶里放点token
Thread.sleep(6000);
//模拟瞬间10个线程进来拿token
for (int i = 0; i < 10; i++) {
new Thread(() -> {
if (bucket.get()) {
System.out.println(Thread.currentThread() + "获取到了资源");
} else {
System.out.println(Thread.currentThread() + "被拒绝");
}
}).start();
}
//等待,往桶里放token
Thread.sleep(3000);
//继续瞬间10个线程进来拿token
for (int i = 0; i < 10; i++) {
new Thread(() -> {
if (bucket.get()) {
System.out.println(Thread.currentThread() + "获取到了资源");
} else {
System.out.println(Thread.currentThread() + "被拒绝");
}
}).start();
}
}
}
复制代码
总结
本文主要介绍几种限流方法:Guava RateLimiter、简单计数、滑窗计数、信号量、令牌桶,当然啦,限流算法还有漏桶算法、nginx限流等等。半支烟所写的这些方法只是个人在实际项目总使用过的,或者是参加阿里笔试时写过的方式。
如果你更好的想法,也欢迎跟我一起交流!
关于找一找教程网
本站文章仅代表作者观点,不代表本站立场,所有文章非营利性免费分享。
本站提供了软件编程、网站开发技术、服务器运维、人工智能等等IT技术文章,希望广大程序员努力学习,让我们用科技改变世界。
[Java实现系统限流]http://www.zyiz.net/tech/detail-118282.html
java服务限流_Java实现系统限流相关推荐
- java验证码限流_Java实现系统限流
在微服务系统中,缓存.限流.熔断是保证系统高可用的三板斧,今天我们就来聊聊限流. 限流是保障系统高可用的方式之一,当然啦也是大厂高频面试题,如果阿里的面试官问一句:"如何实现每秒钟1K个请求 ...
- java 接口防刷_java轻量级接口限流/防刷插件
简介 call-limit提供接口限流.防刷的功能,插件基于spring开发,在应用应用的任何一个逻辑层皆可使用(web.service.dao), 插件支持单机应用下的限流和分布式应用的限流(分布式 ...
- 分布式系统限流策略/秒杀系统限流设计
目录 概述 限流算法 令牌桶算法 漏桶算法 应用级限流 限制总并发数/连接/请求数 限制接口的总并发/请求数 限流接口每秒的请求数 平滑限流接口的请求数 平滑突发限流(SmoothBursty) 平滑 ...
- java随机访问流_java 随机读写访问流及seek方法
package stream; import java.io.File; import java.io.FileNotFoundException; import java.io.IOExceptio ...
- java字符的输入流_Java:字节流和字符流(输入流和输出流)
InputStream是抽象基类,所以它不可以创建对象,但它可以用来"接口化编程",因为大部分子类的函数基类都有定义,所以利用基类来调用函数. FileInputStream是用来 ...
- img src 文件流_Java中的IO流之输出流|乐字节
大家好,乐字节小乐又来咯,上次讲到了IO流的输入流,本文将讲述Java输出流. Java输入输出流 一.输出流 1.抽象类:OutputStream 和 Writer OutputStream和Wri ...
- java获取所有进程_Java 获取系统的进程列表
前几天发表了<Java 定时启动服务>文章,现在发表这篇文档<Java 获取系统的进程列表>,看似联系不大,实质在某些需求上还是有所关系.比如现在有这个需求:定时器启动服务时, ...
- java服务端代码_Java Socket编程服务器响应客户端实例代码
通过输入流来读取客户端信息,相应的时候通过输出流来实现. 服务端类的代码: import java.io.BufferedReader; import java.io.IOException; imp ...
- java boolean io流_java基础入门-day22-IO流
(1)I/O:Input/Output(了解) java中对数据的输入输出问题是通过io技术解决的. java提供的对象都在java.io包下. (2)IO的分类(掌握) A:按照数据的流向 输入流 ...
最新文章
- AI 监视打工人,这个国家明确说:保护我方“摸鱼权”!
- 2017年vb计算机考试,2017年计算机二级VB考试习题及答案
- android VectorDrawable使用笔记(三)
- bzoj2746: [HEOI2012]旅行问题
- lambda函数if_lambda表达式速度如何呢?看完这篇文章你就明白了
- 求对一组数据进行排名的算法
- 无监督端到端检索式问答系统方案实践
- 数学分析笔记—python基础语法
- linux连接本地文件夹,llinux除了软连接本地文件夹同步:mount
- linux查看lammps版本,lammps linux
- 蠕虫病毒html,蠕虫病毒的防治
- HDU 6070 线段树
- 中文版 Ubuntu主目录里的桌面等中文目录名称改成英文
- 在 boot 操作过程中的 FIRST_BOOT阶段,安装失败,出现错误
- 计算机二级考试内容是什么
- Java+Netty+WebRTC、语音、视频、屏幕共享【聊天室设计实践】
- java-easyExcel导出-合并单元格
- HDU 5804 Price List(水~)
- panda3d 键盘移动场景
- 天价耶稣像是达·芬奇画的吗?美国夫妇开发AI程序,CNN检测艺术伪造