回答这个问题，首先你别听到重复消息这个事儿，就一无所知吧，你先大概说一说可能会有哪些重复消费的问题。

首先就是比如rabbitmq、rocketmq、kafka，都有可能会出现消费重复消费的问题，正常。因为这问题通常不是mq自己保证的，是给你保证的。然后我们挑一个kafka来举个例子，说说怎么重复消费吧。

kafka实际上有个offset的概念，就是每个消息写进去，都有一个offset，代表他的序号，然后consumer消费了数据之后，每隔一段时间，会把自己消费过的消息的offset提交一下，代表我已经消费过了，下次我要是重启啥的，你就让我继续从上次消费到的offset来继续消费吧。

但是凡事总有意外，比如我们之前生产经常遇到的，就是你有时候重启系统，看你怎么重启了，如果碰到点着急的，直接kill进程了，再重启。这会导致consumer有些消息处理了，但是没来得及提交offset，尴尬了。重启之后，少数消息会再次消费一次。

其实重复消费不可怕，可怕的是你没考虑到重复消费之后，怎么保证幂等性。

给你举个例子吧。假设你有个系统，消费一条往数据库里插入一条，要是你一个消息重复两次，你不就插入了两条，这数据不就错了？但是你要是消费到第二次的时候，自己判断一下已经消费过了，直接扔了，不就保留了一条数据？

一条数据重复出现两次，数据库里就只有一条数据，这就保证了系统的幂等性

幂等性，我通俗点说，就一个数据，或者一个请求，给你重复来多次，你得确保对应的数据是不会改变的，不能出错。

那所以第二个问题来了，怎么保证消息队列消费的幂等性？

其实还是得结合业务来思考，我这里给几个思路：

（1）比如你拿个数据要写库，你先根据主键查一下，如果这数据都有了，你就别插入了，update一下好吧

（2）比如你是写redis，那没问题了，反正每次都是set，天然幂等性

（3）比如你不是上面两个场景，那做的稍微复杂一点，你需要让生产者发送每条数据的时候，里面加一个全局唯一的id，类似订单id之类的东西，然后你这里消费到了之后，先根据这个id去比如redis里查一下，之前消费过吗？如果没有消费过，你就处理，然后这个id写redis。如果消费过了，那你就别处理了，保证别重复处理相同的消息即可。

还有比如基于数据库的唯一键来保证重复数据不会重复插入多条，我们之前线上系统就有这个问题，就是拿到数据的时候，每次重启可能会有重复，因为kafka消费者还没来得及提交offset，重复数据拿到了以后我们插入的时候，因为有唯一键约束了，所以重复数据只会插入报错，不会导致数据库中出现脏数据

如何保证MQ的消费是幂等性的，需要结合具体的业务来看

转载于:https://www.cnblogs.com/xiufengchen/p/11258873.html

面试系列三 如何保证消息不被重复消费相关推荐

  1. 消息队列面试 - 如何保证消息不被重复消费？或者说，如何保证消息消费的幂等性？

    消息队列面试 - 如何保证消息不被重复消费? 面试题 如何保证消息不被重复消费?或者说,如何保证消息消费的幂等性? 面试官心理分析 其实这是很常见的一个问题,这俩问题基本可以连起来问.既然是消费消息, ...

  2. 阿里面试题剖析，如何保证消息不被重复消费？

    2019独角兽企业重金招聘Python工程师标准>>> 面试题 如何保证消息不被重复消费?或者说,如何保证消息消费的幂等性? 面试官心理分析 其实这是很常见的一个问题,这俩问题基本可 ...

  3. 如何保证消息不被重复消费啊（如何保证消息消费时的幂等性）？

    1.面试题 如何保证消息不被重复消费啊(如何保证消息消费时的幂等性)? 2.面试官心里分析 其实这个很常见的一个问题,这俩问题基本可以连起来问.既然是消费消息,那肯定要考虑考虑会不会重复消费?能不能避 ...

  4. 如何保证消息不被重复消费~~~~~(如何保证消息队列的幂等性)

    分析:这个问题其实换一种问法就是,如何保证消息队列的幂等性?这个问题可以认为是消息队列领域的基本问题.换句话来说,是在考察你的设计能力,这个问题的回答可以根据具体的业务场景来答,没有固定的答案. 回答 ...

  5. 消息队列怎么保证消息有没有重复消费(幂等性)？

    普通业务控制幂等性 1.mysql唯一索引 2.token机制(请求前生成一个token,请求时携带这个token,如果这个token在redis中没有则继续,有则 有请求进行中) 3.mysql悲观 ...

  6. 【消息队列】kafka是如何保证消息不被重复消费的

    一.kafka自带的消费机制 kafka有个offset的概念,当每个消息被写进去后,都有一个offset,代表他的序号,然后consumer消费该数据之后,隔一段时间,会把自己消费过的消息的offs ...

  7. rabbitmq如何保证消息不被重复消费_如何保证消息不被重复消费

    一. 重复消息 为什么会出现消息重复?消息重复的原因有两个:1.生产时消息重复,2.消费时消息重复. 1.1 生产时消息重复 由于生产者发送消息给MQ,在MQ确认的时候出现了网络波动,生产者没有收到确 ...

  8. rabbitmq 集群保证顺序消费_随笔《RabbitMQ》如何保证消息不被重复消费

    以下文章来源于Java旅途 ,作者Java旅途 Java旅途 坚持原创,坚持分享 一 重复消息 为什么会出现消息重复?消息重复的原因有两个:1.生产时消息重复,2.消费时消息重复. 1.1 生产时消息 ...

  9. rabbitmq如何保证消息不被重复消费_RabbitMQ保证消息可靠投递与消费的正确使用姿势...

    前言 MQ 是什么?MQ 我们可以理解为消息队列. 队列是什么?队列我们可以理解为管道. 即以管道的方式做消息传递. 场景展示: 1.我们在双11的凌晨大量秒杀和抢购商品,然后去结算的时候,发现界面会 ...

最新文章

  1. P1996 约瑟夫问题
  2. 随机选取字母c语言,菜鸟求助，写一个随机输出26个英文字母的程序
  3. 网站打不开 换服务器,【图】网站更换服务器打不开—深圳天下信息网
  4. 有关android UI 线程
  5. .NET Core 3.0】框架之十三 || 部署攻略
  6. dialog element 删掉标题_ElementUI 销毁Dialog数据(简单粗暴)
  7. 【转】ABP源码分析十一：Timing
  8. 五年级计算机教材内容,五年级计算机教学计划
  9. Go语言编程—Go语言实现文件拷贝
  10. 受网友U2U之托，DevComponents出品的TreeGX最新版本Patch出炉
  11. Idea创建包以及导入jar包等操作
  12. 数字视频内容行业调研报告 - 市场现状分析与发展前景预测
  13. mc服务器常用指令_我的世界：游戏内高频使用指令，这个“神秘代码”你用过吗？...
  14. Linux设备驱动模型-Bus
  15. 轻松获得卡巴斯基KEY
  16. 伺服舵机匀加速和匀减速运动Demo
  17. 微信营销有哪些优缺点？
  18. K8s不同node如何共享存储nfs 搭建(markdown版本)
  19. tplink怎么进去_想设置路由器，如何进入tplink
  20. 优秀的PPT模板网站

热门文章

  1. Python学习之urlib模块和urllib2模块学习
  2. iOS中的图像处理（一）——基础滤镜
  3. elasticsearch配置文件解析
  4. Hadoop HA 双namenode搭建
  5. kafka消费命令简化(alias中传入参数)
  6. *** line　xxxx of `fraud.data': bad value of xxxx for attribute `id_11'
  7. 数据结构：静态查找动态查找
  8. mysql 算子 谓词_[SQL] SQL 基础知识梳理（六）- 函数、谓词、CASE 表达式
  9. 【机器学习】线性回归之概率解释及局部加权线性回归
  10. matlab里sconv原理_第6章 信号的时域分析及Matlab实现.ppt