消息队列常见的几种使用场景介绍!
点击上方 "程序员小乐"关注, 星标或置顶一起成长
每天凌晨00点00分, 第一时间与你相约
每日英文
What is adhere to? Is day, and one day, you tell yourself, insist again one day.
什么是坚持?就是一天,又一天,你告诉自己,再坚持一天。
每日掏心话
生活里有一个简单的道理,烦恼和洒脱也只是一线之间的距离,一颗悲观的心足够把一切埋没,一颗豁达的心也足够点亮一个世界。
来自:V青山绿水 | 责编:乐乐
链接:fx114.net/qa-36-149204.aspx
程序员小乐(ID:study_tech) 第 904 次推文 图源:百度
往日回顾:再见,Eclipse!
正文
一、简介
消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。使用较多的消息队列有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ。
二、消息队列应用场景
以下介绍消息队列在实际应用中常用的使用场景:异步处理,应用解耦,流量削锋和消息通讯四个场景。
1、异步处理
场景说明:用户注册后,需要发注册邮件和注册短信。传统的做法有两种:串行的方式和并行方式。
串行方式:将注册信息写入数据库成功后,发送注册邮件,再发送注册短信。以上三个任务全部完成后,返回给客户。
并行方式:将注册信息写入数据库成功后,发送注册邮件的同时,发送注册短信。以上三个任务完成后,返回给客户端。与串行的差别是,并行的方式可以提高处理的时间。
假设三个业务节点每个使用50毫秒钟,不考虑网络等其他开销,则串行方式的时间是150毫秒,并行的时间可能是100毫秒。
因为CPU在单位时间内处理的请求数是一定的,假设CPU1秒内吞吐量是100次。则串行方式1秒内CPU可处理的请求量是7次(1000/150)。并行方式处理的请求量是10次(1000/100)。
小结:如以上案例描述,传统的方式系统的性能(并发量,吞吐量,响应时间)会有瓶颈。如何解决这个问题呢?
引入消息队列,将不是必须的业务逻辑,异步处理。改造后的架构如下:
按照以上约定,用户的响应时间相当于是注册信息写入数据库的时间,也就是50毫秒。注册邮件,发送短信写入消息队列后,直接返回,因此写入消息队列的速度很快,基本可以忽略,因此用户的响应时间可能是50毫秒。因此架构改变后,系统的吞吐量提高到每秒20QPS。比串行提高了3倍,比并行提高了两倍!
2、应用解耦
场景说明:用户下单后,订单系统需要通知库存系统。传统的做法是,订单系统调用库存系统的接口。如下图:
传统模式的缺点:
假如库存系统无法访问,则订单减库存将失败,从而导致订单失败,订单系统与库存系统耦合。
如何解决以上问题呢?引入应用消息队列后的方案,如下图:
订单系统:用户下单后,订单系统完成持久化处理,将消息写入消息队列,返回用户订单下单成功
库存系统:订阅下单的消息,采用拉/推的方式,获取下单信息,库存系统根据下单信息,进行库存操作
假如:在下单时库存系统不能正常使用。也不影响正常下单,因为下单后,订单系统写入消息队列就不再关心其他的后续操作了。实现订单系统与库存系统的应用解耦。
3、流量削锋
流量削锋也是消息队列中的常用场景,一般在秒杀或团抢活动中使用广泛!
应用场景:秒杀活动,一般会因为流量过大,导致流量暴增,应用挂掉。为解决这个问题,一般需要在应用前端加入消息队列。
可以控制活动的人数,可以缓解短时间内高流量压垮应用。
用户的请求,服务器接收后,首先写入消息队列。假如消息队列长度超过最大数量,则直接抛弃用户请求或跳转到错误页面。
秒杀业务根据消息队列中的请求信息,再做后续处理。
4、日志处理
日志处理是指将消息队列用在日志处理中,比如Kafka的应用,解决大量日志传输的问题。架构简化如下:
日志采集客户端,负责日志数据采集,定时写受写入Kafka队列;Kafka消息队列,负责日志数据的接收,存储和转发;日志处理应用:订阅并消费kafka队列中的日志数据。
以下是新浪kafka日志处理应用案例:
Kafka:接收用户日志的消息队列;
Logstash:做日志解析,统一成JSON输出给Elasticsearch;
Elasticsearch:实时日志分析服务的核心技术,一个schemaless,实时的数据存储服务,通过index组织数据,兼具强大的搜索和统计功能;
Kibana:基于Elasticsearch的数据可视化组件,超强的数据可视化能力是众多公司选择ELK stack的重要原因。
5、消息通讯
消息通讯是指,消息队列一般都内置了高效的通信机制,因此也可以用在纯的消息通讯。比如实现点对点消息队列,或者聊天室等。
点对点通讯:
客户端A和客户端B使用同一队列,进行消息通讯。
聊天室通讯:
客户端A,客户端B,客户端N订阅同一主题,进行消息发布和接收。实现类似聊天室效果。
以上实际是消息队列的两种消息模式,点对点或发布订阅模式。模型为示意图,供参考。
三、消息中间件示例
1、电商系统
消息队列采用高可用,可持久化的消息中间件。比如Active MQ,Rabbit MQ,Rocket Mq。
应用将主干逻辑处理完成后,写入消息队列。消息发送是否成功可以开启消息的确认模式。(消息队列返回消息接收成功状态后,应用再返回,这样保障消息的完整性);
扩展流程(发短信,配送处理)订阅队列消息。采用推或拉的方式获取消息并处理;
消息将应用解耦的同时,带来了数据一致性问题,可以采用最终一致性方式解决。比如主数据写入数据库,扩展应用根据消息队列,并结合数据库方式实现基于消息队列的后续处理;
2、日志收集系统
分为Zookeeper注册中心,日志收集客户端,Kafka集群和Storm集群(OtherApp)四部分组成。
Zookeeper注册中心,提出负载均衡和地址查找服务;
日志收集客户端,用于采集应用系统的日志,并将数据推送到kafka队列;
Kafka集群:接收,路由,存储,转发等消息处理;
Storm集群:与OtherApp处于同一级别,采用拉的方式消费队列中的数据;
欢迎在留言区留下你的观点,一起讨论提高。如果今天的文章让你有新的启发,学习能力的提升上有新的认识,欢迎转发分享给更多人。
欢迎各位读者加入订阅号程序员小乐技术群,在后台回复“加群”或者“学习”即可。
猜你还想看
阿里、腾讯、百度、华为、京东最新面试题汇集
超级实用的 MySQL 常用优化指南!
Spring Boot“内存泄漏”?看看美团大牛是如何排查的
为什么老外不愿意用 MyBatis?
关注订阅号「程序员小乐」,收看更多精彩内容
嘿,你在看吗?
消息队列常见的几种使用场景介绍!相关推荐
- 消息中间件(二)消息队列常见的几种使用场景介绍
一.消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题.实现高性能,高可用,可伸缩和最终一致性架构.是大型分布式系统不可缺少的中间件. 目前在生产环境,使 ...
- 消息队列常见的几种使用场景介绍
讲的满全的,mark一下,转载自(http://www.sohu.com/a/236014515_797635) 一.简介 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋 ...
- 消息队列常见的5种使用场景
文章目录 一.简介 二.消息队列应用场景 1.异步处理 2.应用解耦 3.流量削锋 4.日志处理 5.消息通讯 三.消息中间件示例 1.电商系统 2.日志收集系统 一.简介 消息队列中间件是分布式系统 ...
- MQ(消息队列)常见的应用场景解析
MQ(消息队列)常见的应用场景解析 原文:MQ(消息队列)常见的应用场景解析 前言 提高系统性能首先考虑的是数据库的优化,之前一篇文章<数据库的使用你可能忽略了这些>中有提到过开发中,针对 ...
- PHP消息队列常见场景
一:异步处理.应用解耦.分布式 场景:主业务对子业务的处理结果并不关心时. 案例:电商系统中订单系统.物流系统.财务系统以及操作日志记录系统之间的关系. 通俗解释:小明是个蛋糕店员.他做好蛋糕后,放在 ...
- 消息队列使用的四种场景介绍
一.简介 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题 实现高性能,高可用,可伸缩和最终一致性架构 使用较多的消息队列有ActiveMQ,RabbitMQ,Zer ...
- python中队列的应用用场景_消息队列使用的四种场景介绍
四.JMS消息服务 讲消息队列就不得不提JMS .JMS(JavaMessage Service,Java消息服务)API是一个消息服务的标准/规范,允许应用程序组件基于JavaEE平台创建.发送.接 ...
- 高可用服务 AHAS 在消息队列 MQ 削峰填谷场景下的应用...
在消息队列中,当消费者去消费消息的时候,无论是通过 pull 的方式还是 push 的方式,都可能会出现大批量的消息突刺.如果此时要处理所有消息,很可能会导致系统负载过高,影响稳定性.但其实可能后面几 ...
- table表头固定4种方法_在常见的3种工资条场景中,教你4种批量打印工资条的方法...
私信回复关键词[福利]~ 获取丰富办公资源,助你高效办公早下班! 打印工资条估计是财务老师的痛,要把一行行的数据,变成一条条的工资条. 数据很多,表头很复杂. 一个个复制粘贴?那是不可能的! 那怎么办 ...
最新文章
- 【100题】第十五题(树的镜像问题)
- IT市场10大技术伟人 Linux之父居首(转)
- shell day01 : Shell概述 编写及执行脚本 、 Shell变量
- 用tensorflow还原PSENet网络
- 求正多边形的面积JAVA_第六章第三十六题(几何:正多边形的面积)(Geometry: area of a regular polygon)...
- C++反汇编第三讲,反汇编中识别虚表指针,以及指向的虚函数地址
- java思考笔记——遍历Map-key的几种方法
- python一对一_Python - Django - ORM 一对一表结构
- C language day1
- curl post https_Linux命令cURL详解,并实现文件定时上传到ftp服务器的程序
- 构建 Netflix 分布式追踪(tracing)体系
- TracePro v6.02 Win32-ISO 1CD(光学机构仿真软件\
- 计算机键盘灯不亮原因,计算机键盘灯不亮,鼠标灯亮的原因和解决方法
- lisp如何将度分秒转换为弧度_1/16怎么转换成角度(度分秒)??
- 一把剪刀完成iphone4剪卡
- Bootstrap系列之进度条(Progress)
- python如何提交作业_提交作业
- 设计模式总结--------调停者模式
- java-Stringbuffer
- mysql联合索引如何创建