消息队列如何实现流量削峰?

要对流量进行削峰,最容易想到的解决方案就是用消息队列来缓冲瞬时流量,把同步的直接调用转换成异步的间接推送,中间通过一个队列在一端承接瞬时的流量洪峰,在另一端平滑地将消息推送出去。

这里就不讲springbootrabbitmq如何集成了,参考文章https://www.cnblogs.com/fantongxue/p/12493497.html

一,准备工作:

数据库有一张商品表,库存量是100。现在有1000个消费者准备开抢这100个库存。
t_product表维护商品编号与商品库存剩余数量。编号No123321的这种商品的库存量有100个。

t_product_record维护抢到商品的用户ID。理论上t_product表开抢后的 记录数量应该是100条(共有100个人抢到了商品)。

我们使用压力测试工具jweter对其进行并发性测试。

二,springboot开始集成rabbitmq

1,加入amqp的依赖

     <dependency><groupId>org.springframework.amqp</groupId><artifactId>spring-rabbit</artifactId></dependency>

2,配置application.yml配置文件

spring:datasource:driver-class-name: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=true&serverTimezone=UTCusername: rootpassword: 1234rabbitmq:host: 101.201.101.206username: guestpassword: guestpublisher-confirms: true  # 开启Rabbitmq发送消息确认机制,发送消息到队列并触发回调方法publisher-returns: truelistener:simple:concurrency: 10 #消费者数量max-concurrency: 10 #最大消费者数量prefetch: 1 #限流(消费者每次从队列获取的消息数量)auto-startup: true  #启动时自动启动容器acknowledge-mode: manual #开启ACK手动确认模式

3,RabbitConfig配置类

1, 定义消息转换实例 ,转化成 JSON传输
2 , 配置启用rabbitmq事务

package com.aaa.springredis.controller;import org.springframework.amqp.rabbit.connection.CachingConnectionFactory;
import org.springframework.amqp.rabbit.transaction.RabbitTransactionManager;
import org.springframework.amqp.support.converter.Jackson2JsonMessageConverter;
import org.springframework.amqp.support.converter.MessageConverter;
import org.springframework.context.annotation.Bean;
import org.springframework.stereotype.Component;@Component
public class RabbitConfig {/*** 定义消息转换实例 ,转化成 JSON传输** @return Jackson2JsonMessageConverter*/@Beanpublic MessageConverter integrationEventMessageConverter() {return new Jackson2JsonMessageConverter();}/*** 配置启用rabbitmq事务** @param connectionFactory connectionFactory* @return RabbitTransactionManager*/@Beanpublic RabbitTransactionManager rabbitTransactionManager(CachingConnectionFactory connectionFactory) {return new RabbitTransactionManager(connectionFactory);}
}

4,初始化rabbitmq的回调函数

说明:被@PostConstruct修饰的方法会在服务器加载Servlet的时候运行,并且只会被服务器执行一次。如果想在生成对象时完成某些初始化操作,而偏偏这些初始化操作又依赖于依赖注入,那么久无法在构造函数中实现。为此,可以使用@PostConstruct注解一个方法来完成初始化,@PostConstruct注解的方法将会在依赖注入完成后被自动调用。

回调函数的使用前提是配置文件中开启了rabitmq消息确认机制

Constructor >> @Autowired >> @PostConstruct

      @AutowiredRabbitTemplate rabbitTemplate;private static final Logger LOGGER = LoggerFactory.getLogger(RabbitController.class);@PostConstructprivate void init(){/*** 消息发送到交换器Exchange后触发回调。* 使用该功能需要开启确认,spring-boot中配置如下:* spring.rabbitmq.publisher-confirms = true*/rabbitTemplate.setConfirmCallback(new RabbitTemplate.ConfirmCallback() {@Overridepublic void confirm(CorrelationData correlationData, boolean b, String s) {if (b) {System.out.println("消息已确认 cause:{"+s+"} - {"+correlationData+"}");} else {System.out.println("消息未确认 cause:{"+s+"} - {"+correlationData+"}");}}});/*** 通过实现ReturnCallback接口,* 如果消息从交换器发送到对应队列失败时触发* 比如根据发送消息时指定的routingKey找不到队列时会触发* 使用该功能需要开启确认,spring-boot中配置如下:* spring.rabbitmq.publisher-returns = true*/rabbitTemplate.setReturnCallback(new RabbitTemplate.ReturnCallback() {@Overridepublic void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {LOGGER.error("消息被退回:{}", message);LOGGER.error("消息使用的交换机:{}", exchange);LOGGER.error("消息使用的路由键:{}", routingKey);LOGGER.error("描述:{}", replyText);}});}

三,开始测试

1,写抢单测试类

写抢单测试类,我们使用jweter压力测试工具开启1000个线程进行测试(开启多线程并发测试),所以为了区别每一个模拟的用户,使用userId累加的方式进行区分。

     private int userId=0;//开始抢单@RequestMapping("/begin")@ResponseBodypublic void begin(){userId++;this.send(userId);}

而上面的send方法就是把接收到的用户请求发送到rabbitmq消息中间件中。

     @RequestMapping("/send")@ResponseBodypublic String send(Integer messge){//第一个参数:交换机名字  第二个参数:Routing Key的值  第三个参数:传递的消息对象rabbitTemplate.convertAndSend("test.direct","test",messge);return "发送消息成功";}

2,配置rabbitmq监听方法

rabbitmq监听上篇文章也说过了,作用就是监听指定队列中收到来自交换机的消息,来一条收一条,收完为止!
通过ACK 确认是否被正确接收,每个Message都要被确认,可以手动去 ACK或自动ACK,如果信息消费失败的话会拒绝当前消息,并把消息返回原队列。

从队列中收到用户的userId,然后进行购买商品模拟操作(减少一个库存,新增一条购买记录)

     @AutowiredRabbitController controller;/*** @RabbitListener 可以标注在类上面,需配合 @RabbitHandler 注解一起使用* @RabbitListener 标注在类上面表示当有收到消息的时候,就交给 @RabbitHandler 的方法处理,具体使用哪个方法处理,* 根据 MessageConverter 转换后的参数类型** 使用 @Payload 和 @Headers 注解可以消息中的 body 与 headers 信息** 通过 ACK 确认是否被正确接收,每个 Message 都要被确认(acknowledged),可以手动去 ACK 或自动 ACK*/@RabbitListener(queues = "test") //指定监听的队列名public void receiver(@Payload Integer userId, @Headers Channel channel, Message message) throws IOException {LOGGER.info("用户{}开始抢单", userId);try {//处理消息controller.robbingProduct(userId);
//             确认消息已经消费成功channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);} catch (Exception e) {LOGGER.error("消费处理异常:{} - {}", userId, e);
//             拒绝当前消息,并把消息返回原队列channel.basicNack(message.getMessageProperties().getDeliveryTag(), false, true);}}

购买商品的方法

 public void robbingProduct(Integer userId){Product product = testDao.selectProductByNo("No123321");if (product != null && product.getTotal() > 0) {//更新库存表,库存量减少1。返回1说明更新成功。返回0说明库存已经为0int i = testDao.updateProduct("No123321");if(i>0){//插入记录testDao.insertProductRecord(new ProductRecord("No123321", userId));//发送短信LOGGER.info("用户{}抢单成功", userId);}else {LOGGER.error("用户{}抢单失败", userId);}} else {LOGGER.error("用户{}抢单失败", userId);}}

3,jweter工具测试并发

jweter压力测试工具如何使用百度吧,这里忽略!
控制台打印


而数据库中的库存变成了0

购买记录中存放了抢单成功的用户id(100条记录)

当然,剩下的900个用户都抢单失败了!

rabbitmq队列是先进先出的顺序,先来后到,1000个请求你也得给我排队,前100个请求抢单成功之后就注定了后900个请求是抢单失败的!

使用RabbitMQ的最主要变化就是:以前抢单操作请求直接由我们抢单应用程序执行,现在请求被转移到了RabbitMQ服务器中。RabbitMQ服务器把接收到的抢单请求进行排队,最后由RabbitMQ服务器把抢单请求转发到我们的抢单应用程序,这样的好处就是避免我们的抢单应用程序短时间直接处理大量请求。RabbitMQ服务器主要作用是减缓抢单应用程序的并发压力,相当于在我们的抢单程序之前加了一道请求缓冲区。

实战结束!
工程地址:https://github.com/fantongxue666/rabbitmq-seckill

springboot集成rabbitmq商品秒杀业务实战(流量削峰)相关推荐

  1. rabbitmq实现秒杀中订单流量削峰

    前言 在Redis秒杀功能设计与实现一篇中,我们使用redis实现了商品的秒杀抢购功能,在当前的设计中,只涉及到商品抢购,即用户锁定名额,并将成功抢购到的用户信息保存到redis中了 但是一个完整的抢 ...

  2. 【商城秒杀项目】-- 流量削峰应该怎么做

    如果你看过秒杀系统的流量监控图的话,你会发现它是一条直线,在秒杀开始那一秒是一条很直很直的线,这是因为秒杀请求在时间上高度集中于某一特定的时间点.这样一来,就会导致一个特别高的流量峰值,它对资源的消耗 ...

  3. 小工匠聊架构-超高并发秒杀系统设计 04_流量削峰设计

    文章目录 Pre 概 why how 排队 问答机制 方案设计 分层过滤 总结 Pre 小工匠聊架构-超高并发秒杀系统设计 01_总体原则和架构演进 小工匠聊架构-超高并发秒杀系统设计 02_数据的动 ...

  4. 消息中间件系列(六):什么是流量削峰?如何解决秒杀业务的削峰场景

    流量削峰的由来 主要是还是来自于互联网的业务场景,例如,马上即将开始的春节火车票抢购,大量的用户需要同一时间去抢购:以及大家熟知的阿里双11秒杀, 短时间上亿的用户涌入,瞬间流量巨大(高并发),比如: ...

  5. 高并发架构系列:什么是流量削峰?如何解决秒杀业务的削峰场景

    流量削峰的由来 主要是还是来自于互联网的业务场景,例如,马上即将开始的春节火车票抢购,大量的用户需要同一时间去抢购:以及大家熟知的阿里双11秒杀, 短时间上亿的用户涌入,瞬间流量巨大(高并发),比如: ...

  6. springboot 集成 RabbitMQ confirm 确认模式和 return 回退模式以及Consumer Ack模式

    springboot 集成 RabbitMQ confirm 确认模式和 return 回退模式以及Consumer Ack模式 说明: RabbitMQ消息的可靠投递 在使用 RabbitMQ 的时 ...

  7. Springboot集成rabbitmq实现延时队列

    Springboot集成rabbitmq实现延时队列 什么是延时队列? 列举几个使用场景: 常见的种类有: 延时任务-实现方式: 详细信息:[https://www.cnblogs.com/JonaL ...

  8. springboot 集成rabbitmq 实例

    springboot 集成rabbitmq 实例 个人在学习rabbitmq时发现网上很少有系统性介绍springboot和rabbitmq如何集成的,其他人总结的都片段化,所以结合个人调研过程,整理 ...

  9. SpringBoot集成RabbitMQ消息队列搭建与ACK消息确认入门

    1.Windows下安装RabbitMQ的步骤详解+图解(erlang+RabbitMQ) 2.SpringBoot集成RabbitMQ参考文章 1.RabbitMQ介绍 RabbitMQ是实现AMQ ...

最新文章

  1. 百度编辑器修改,不让它自动替换html标签
  2. mssql 连接oracle配置,MSSQL通过链接服务器访问Oracle
  3. POJ 2752 同一个串的前后串
  4. hdu 1280 前m大的数 哈希
  5. superhot预告片下载_预告片:裸指关节SOA
  6. Python求转置矩阵最简便的方法
  7. 手把手带你一起写迅雷官网
  8. WSS 3.0部署备忘 六
  9. 【TSP】基于matlab遗传算法求解旅行商问题【含Matlab源码 1337期】
  10. I-Deas TMG 培训资料 (7)
  11. 关于csdn 博客图片无法加载的问题!
  12. Vonage与华尔街英语合作为其数字教室提供助力
  13. IDEA 自定义注释
  14. 新加坡 计算机专业,【新加坡计算机类专业】 - 环外新加坡留学网
  15. ABTest流量分发和业界的一些经验
  16. 蚂蚁森林在沙漠种植了5552万棵树,原来我也在做一件改变世界
  17. visual studio 2010教程-创建网站项目
  18. springDataJpa入门教程(5)-单表动态条件查询+分页
  19. 最安全的门禁系统来了,贝迪特掌静脉引领“刷手进门”新浪潮
  20. python求n项和_python 输入一个数n,求n个数求乘或求和的实例

热门文章

  1. 创业日志(十二) 关于怠惰
  2. 如何定时刷新一个View的内容呢? 酷课堂iOS交流群问答(201901期)
  3. Node Inspector 调试 Node.js 程序
  4. Object的wait()和notify()以及notifyAll()和interrupt()方法
  5. 宜人贷何林海:社交图谱在金融反欺诈产品的应用
  6. pycharm使用eval reset不能重置
  7. 不理解栈和队列?知道子弹上膛和火车穿隧道就好
  8. 苹果新系统耗电过快怎么解决(解决方法)
  9. 如何优化cocos2d程序的内存使用和程序大小
  10. Java学习笔记 - Chapter 1