基于.net的分布式系统限流组件
在互联网应用中,流量洪峰是常有的事情。在应对流量洪峰时,通用的处理模式一般有排队、限流,这样可以非常直接有效的保护系统,防止系统被打爆。另外,通过限流技术手段,可以让整个系统的运行更加平稳。今天要与大家分享一下限流算法和C#版本的组件。
一、令牌桶算法:
令牌桶算法的基本过程如下:
- 假如用户配置的平均发送速率为r,则每隔1/r秒速率将一个令牌被加入到桶中;
- 假设桶最多可以存发b个令牌。当桶中的令牌达到上限后,丢弃令牌。
- 当一个有请求到达时,首先去令牌桶获取令牌,能够取到,则处理这个请求
- 如果桶中没有令牌,那么请求排队或者丢弃
工作过程包括3个阶段:产生令牌、消耗令牌和判断数据包是否通过。其中涉及到2个参数:令牌产生的速率和令牌桶的大小,这个过程的具体工作如下。
- 产生令牌:周期性的以固定速率向令牌桶中增加令牌,桶中的令牌不断增多。如果桶中令牌数已到达上限,则丢弃多余令牌。
- 消费 令牌:业务程序根据具体业务情况消耗桶中的令牌。消费一次,令牌桶令牌减少一个。
- 判断是否通过:判断是否已有令牌桶是否存在有效令牌,当桶中的令牌数量可以满足需求时,则继续业务处理,否则将挂起业务,等待令牌。
下面是C#的一个实现方式
class TokenBucketLimitingService: ILimitingService
{
private LimitedQueue<object> limitedQueue = null;
private CancellationTokenSource cancelToken;
private Task task = null;
private int maxTPS;
private int limitSize;
private object lckObj = new object();
public TokenBucketLimitingService(int maxTPS, int limitSize)
{
this.limitSize = limitSize;
this.maxTPS = maxTPS;if (this.limitSize <= 0)
this.limitSize = 100;
if(this.maxTPS <=0)
this.maxTPS = 1;limitedQueue = new LimitedQueue<object>(limitSize);
for (int i = 0; i < limitSize; i++)
{
limitedQueue.Enqueue(new object());
}
cancelToken = new CancellationTokenSource();
task = Task.Factory.StartNew(new Action(TokenProcess), cancelToken.Token);
}/// <summary>
/// 定时消息令牌
/// </summary>
private void TokenProcess()
{
int sleep = 1000 / maxTPS;
if (sleep == 0)
sleep = 1;DateTime start = DateTime.Now;
while (cancelToken.Token.IsCancellationRequested ==false)
{
try
{
lock (lckObj)
{
limitedQueue.Enqueue(new object());
}
}
catch
{
}
finally
{
if (DateTime.Now - start < TimeSpan.FromMilliseconds(sleep))
{
int newSleep = sleep - (int)(DateTime.Now - start).TotalMilliseconds;
if (newSleep > 1)
Thread.Sleep(newSleep - 1); //做一下时间上的补偿
}
start = DateTime.Now;
}
}
}public void Dispose()
{
cancelToken.Cancel();
}/// <summary>
/// 请求令牌
/// </summary>
/// <returns>true:获取成功,false:获取失败</returns>
public bool Request()
{
if (limitedQueue.Count <= 0)
return false;
lock (lckObj)
{
if (limitedQueue.Count <= 0)
return false;object data = limitedQueue.Dequeue();
if (data == null)
return false;
}return true;
}
}
public interface ILimitingService:IDisposable
{
/// <summary>
/// 申请流量处理
/// </summary>
/// <returns>true:获取成功,false:获取失败</returns>
bool Request();
}
public class LimitingFactory
{
/// <summary>
/// 创建限流服务对象
/// </summary>
/// <param name="limitingType">限流模型</param>
/// <param name="maxQPS">最大QPS</param>
/// <param name="limitSize">最大可用票据数</param>
public static ILimitingService Build(LimitingType limitingType = LimitingType.TokenBucket, int maxQPS = 100, int limitSize = 100)
{
switch (limitingType)
{
case LimitingType.TokenBucket:
default:
return new TokenBucketLimitingService(maxQPS, limitSize);
case LimitingType.LeakageBucket:
return new LeakageBucketLimitingService(maxQPS, limitSize);
}
}
}/// <summary>
/// 限流模式
/// </summary>
public enum LimitingType
{
TokenBucket,//令牌桶模式
LeakageBucket//漏桶模式
}public class LimitedQueue<T> : Queue<T>
{
private int limit = 0;
public const string QueueFulled = "TTP-StreamLimiting-1001";public int Limit
{
get { return limit; }
set { limit = value; }
}public LimitedQueue()
: this(0)
{ }public LimitedQueue(int limit)
: base(limit)
{
this.Limit = limit;
}public new bool Enqueue(T item)
{
if (limit > 0 && this.Count >= this.Limit)
{
return false;
}
base.Enqueue(item);
return true;
}
}
调用方法:
var service = LimitingFactory.Build(LimitingType.TokenBucket, 500, 200);
while (true)
{
var result = service.Request();
//如果返回true,说明可以进行业务处理,否则需要继续等待
if (result)
{
//业务处理......
}
else
Thread.Sleep(1);
}
二、漏桶算法
声明一个固定容量的桶,每接受到一个请求向桶中添加一个令牌,当令牌桶达到上线后请求丢弃或等待,具体算法如下:
- 创建一个固定容量的漏桶,请求到达时向漏桶添加一个令牌
- 如果请求添加令牌不成功,请求丢弃或等待
- 另一个线程以固定的速率消费桶里的令牌
工作过程也包括3个阶段:产生令牌、消耗令牌和判断数据包是否通过。其中涉及到2个参数:令牌自动消费的速率和令牌桶的大小,个过程的具体工作如下。
- 产生令牌:业务程序根据具体业务情况申请令牌。申请一次,令牌桶令牌加一。如果桶中令牌数已到达上限,则挂起业务后等待令牌。
- 消费令牌:周期性的以固定速率消费令牌桶中令牌,桶中的令牌不断较少。
- 判断是否通过:判断是否已有令牌桶是否存在有效令牌,当桶中的令牌数量可以满足需求时,则继续业务处理,否则将挂起业务,等待令牌。
C#的一个实现方式:
class LeakageBucketLimitingService: ILimitingService
{
private LimitedQueue<object> limitedQueue = null;
private CancellationTokenSource cancelToken;
private Task task = null;
private int maxTPS;
private int limitSize;
private object lckObj = new object();
public LeakageBucketLimitingService(int maxTPS, int limitSize)
{
this.limitSize = limitSize;
this.maxTPS = maxTPS;if (this.limitSize <= 0)
this.limitSize = 100;
if (this.maxTPS <= 0)
this.maxTPS = 1;limitedQueue = new LimitedQueue<object>(limitSize);
cancelToken = new CancellationTokenSource();
task = Task.Factory.StartNew(new Action(TokenProcess), cancelToken.Token);
}private void TokenProcess()
{
int sleep = 1000 / maxTPS;
if (sleep == 0)
sleep = 1;DateTime start = DateTime.Now;
while (cancelToken.Token.IsCancellationRequested == false)
{
try
{if (limitedQueue.Count > 0)
{
lock (lckObj)
{
if (limitedQueue.Count > 0)
limitedQueue.Dequeue();
}
}
}
catch
{
}
finally
{
if (DateTime.Now - start < TimeSpan.FromMilliseconds(sleep))
{
int newSleep = sleep - (int)(DateTime.Now - start).TotalMilliseconds;
if (newSleep > 1)
Thread.Sleep(newSleep - 1); //做一下时间上的补偿
}
start = DateTime.Now;
}
}
}public void Dispose()
{
cancelToken.Cancel();
}public bool Request()
{
if (limitedQueue.Count >= limitSize)
return false;
lock (lckObj)
{
if (limitedQueue.Count >= limitSize)
return false;return limitedQueue.Enqueue(new object());
}
}
}
调用方法:
var service = LimitingFactory.Build(LimitingType.LeakageBucket, 500, 200);
while (true)
{
var result = service.Request();
//如果返回true,说明可以进行业务处理,否则需要继续等待
if (result)
{
//业务处理......
}
else
Thread.Sleep(1);
}
两类限流算法虽然非常相似,但是还是有些区别的,供大家参考!
- 漏桶算法能够强行限制数据的传输速率。在某些情况下,漏桶算法不能够有效地使用网络资源。因为漏桶的漏出速率是固定的。
- 令牌桶算法能够在限制数据的平均传输速率的同时还允许某种程度的突发传输.
- https://www.cnblogs.com/vveiliang/p/9049393.html
基于.net的分布式系统限流组件相关推荐
- 设计一个基于用户的API限流策略 Rate Limit
设计一个基于用户的API限流策略 Rate Limit 应用场景 API接口的流量控制策略:缓存.降级.限流.限流可以认为服务降级的一种,限流就是限制系统的输入和输出流量已达到保护系统的目的.限流策略 ...
- RateLimiter google限流组件试析(SmoothBursty/SmoothWarmingUp)
RateLimiter google限流组件试析(SmoothBursty/SmoothWarmingUp) RateLimiter是guava包里的限流组件,位于com.google.common. ...
- 基于Redis的分布式限流详解
前言 Redis除了能用作缓存外,还有很多其他用途,比如分布式锁,分布式限流,分布式唯一主键等,本文将和大家分享下基于Redis分布式限流的各种实现方案. 一.为什么需要限流 用最简单的话来说:外部请 ...
- 大中型分布式系统中,Hystrix 分布式系统限流、降级、熔断框架
为什么需要Hystrix 在大中型分布式系统中,通常系统很多依赖,如下图: 在高并发访问下,这些依赖的稳定性与否对系统的影响非常大,但是依赖有很多不可控问题:如网络连接缓慢,资源繁忙,暂时不可用,服务 ...
- alibaba sentinel限流组件 源码分析
如何使用? maven引入: <dependency> <groupId>com.alibaba.csp</groupId> <artifactId>s ...
- 基于Redis实现分布式应用限流--转
原文地址:https://my.oschina.net/giegie/blog/1525931 摘要: 限流的目的是通过对并发访问/请求进行限速或者一个时间窗口内的的请求进行限速来保护系统,一旦达到限 ...
- 一个基于用户的API限流策略 Rate Limit
1. 限流场景 在开发高并发系统时,有很多种方法可用来保护系统:缓存.降级.限流等. 缓存:提升系统访问速度,增大系统处理能力 降级:服务出现问题或影响核心流程的性能时,需要暂时屏蔽,待高峰过去或问题 ...
- 基于gateway网关实现限流
前言 在前面的限流方案介绍中,我们谈到了网关在微服务体系架构中的重要作用,网关不经具备大家熟知的动态路由,请求拦截等功能外,还可以基于网关实现分布式环境下的限流,下面我们以gatway为例,用代码进行 ...
- 基于用户的API限流策略
应用场景 API接口的流量控制策略:缓存.降级.限流.限流可以认为服务降级的一种,限流就是限制系统的输入和输出流量已达到保护系统的目的.限流策略虽然降低了服务接口的访问频率和并发量,却换取服务接口和业 ...
最新文章
- linux webrtc浏览器,WebRTC 浏览器支持
- linux远程跳板机超时
- es6的Map()构造函数
- dos命令测试网络连通情况
- oracle em配置报错,oracle em 启动报错OC4J Configuration issue
- java this 代替_关于JAVA中this的使用方法小结
- onCreate onStart onResume onStop onPause onDestroy onRestart onWindowFocusChanged
- yyds!Java 性能优化的 50 个细节(珍藏版)
- D - 昂贵的聘礼(最短路径)
- Express框架学习笔记-静态资源的处理
- vs2010 vs2012 插件小番茄 visual assist x破解版下载
- Java底层--JVM与GC
- 鸿蒙之境浩然溟涬,列子 简历 - 名人简历
- 股市一跌再跌,是在提醒我们什么?
- 联想e570c固态接口支持协议_thinkpad e570c15.6英寸笔记本电脑支持什么固态硬盘接口...
- 推荐一些助你看透世界本质的书
- python魔法方法长文详解
- type-c英文怎么读音发音,type-c怎么读英语发音
- redis优化,bigkey,hotkey,配置优化,缓存雪崩、缓存穿透、缓存击穿
- photoshop怎么旋转图片
热门文章
- C语言实现heap sort堆排序的算法(附完整源码)
- OpenGL envmapsphere球形环境图的实例
- C++使用链表实现queue之一(附完整源码)
- C语言实现链表(附完整源码)
- linux虚拟网桥配置nat,使用NAT在Proxmox VE 6上创建专用网桥的方法
- shell在指定目录下执行nohup_nohup:关闭shell程序依然执行
- 08_索引与切片,Indexing,Python风格的索引,index_select()选择特定索引,使用...索引任意多的维度,使用mask索引,take索引
- SQLite 分离数据库(http://www.w3cschool.cc/sqlite/sqlite-detach-database.html)
- 关于oracle date类型值0000-0-0的分析
- mysql测试工作中的应用_Mysql精华总结,解决测试人员面试中的碰到的一切Mysql问题(一)...