为什么QueueingConsumer会被Deprecated?

欢迎支持笔者新作：《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》，同时欢迎关注笔者的微信公众号：朱小厮的博客。

欢迎跳转到本文的原文链接：https://honeypps.com/mq/why-is-queueingconsumer-marked-deprecated/

QueueingConsumer在Rabbitmq客户端3.x版本中用的如火如荼，但是在4.x版本开初就被标记为@Deprecated，这是为什么呢？本文就此展开探讨。

在我的博文《RabbitMQ之Consumer消费模式（Push & Pull）》中讲到，Consumer的消费模式有Pull 和 Push两种，而经常用到的就是Push模式，Push模式在3.x的用法demo如下：

QueueingConsumer consumer = new QueueingConsumer(channel);
channel.basicQos(1);
channel.basicConsume(QUEUE_NAME, false, "consumer_zzh",consumer);while (true) {QueueingConsumer.Delivery delivery = consumer.nextDelivery();String message = new String(delivery.getBody());System.out.println(" [X] Received '" + message + "'");channel.basicAck(delivery.getEnvelope().getDeliveryTag(),false);break;
}

在官方文档中推荐使用继承DefaultConsumer的方式：

boolean autoAck = false;
channel.basicConsume(queueName, autoAck, "myConsumerTag",new DefaultConsumer(channel) {@Overridepublic void handleDelivery(String consumerTag,Envelope envelope,AMQP.BasicProperties properties,byte[] body)throws IOException{String routingKey = envelope.getRoutingKey();String contentType = properties.getContentType();long deliveryTag = envelope.getDeliveryTag();// (process the message components here ...)channel.basicAck(deliveryTag, false);}
});

在源码注释中有关QueueingConsumer的介绍有这样一段：

QueueingConsumer was introduced to allow applications to overcome a limitation in the way Connection managed threads and consumer dispatching. When QueueingConsumer was introduced, callbacks to Consumers ware made on the Connection’s thread. This had two main drawbacks. Firstly, the Consumer could stall the processing of all Channels on the Connection. Secondly, if a Consumer made a recursive synchronous call into its Channel the Client would deadlock.

QueuingConsumer provided client code with an easy way to obviate the problem by queueing incoming messages and processing them on a separate, application-managed thread.

The threading behaviour of Connection and Channel has been changed so that each Channel uses a distinct thread for dispatching to Consumers. This prevents Consumers on one Channel holding up Consumers on another and it also prevents recursive calls from deadlocking the client.

As such, it is now safe to implement Consumer directly of to extend DefaultConsumer and QueueingConsumer is a lot less relevant.

上面提及了两个drawbacks：

the Consumer could stall the processing of all Channels on the Connection. =>QueueingConsumer会拖累Connection的所有Channels的操作
if a Consumer made a recursive synchronous call into its Channel the Client would deadlock.=>同步递归调用时会产生死锁

对于这两句简单的言辞，博主没有停下追求真理的脚步，既而去github上发问，当我咨询rabbitmq-java-client的作者时(issue @265)，他是这么回复的：

Search rabbitmq-users archives. That consumer implementation was merely a workaround for the consumer operation dispatch deficiency that no longer exists. It has significant limitations in that automatic connection recovery does not support it and when deliveries happen faster than consumers actually process them, its internal j.u.c. queue data structure can grow very large. It has been deprecated for years prior to the removal.

上面提及的rabbitmq-users的链接是：https://groups.google.com/forum/#!forum/rabbitmq-users，当然在我大天朝是访问不了的。博主的翻墙软件也失效了，就没法search，有兴趣的小伙伴search到的话麻烦告知下（下方留言，私信，或者留下你的资料地址~）。不过作者也提交了两点：1. automatic connection recovery不支持QueueingConsumer的这种形式；2. 内存溢出问题。

对于QueueingConsumer的内存溢出问题，我在博文《[九]RabbitMQ-客户端源码之Consumer》中讲到QueueingConsumer内部其实是一个LinkBlockingQueue，它将从broker端接受到的信息先暂存到这个LinkBlockingQueue中，然后消费端程序在从这个LinkBlockingQueue中take出消息。试下一下，如果我们不take消息或者说take的非常慢，那么LinkBlockingQueue中的消息就会越来越多，最终造成内存溢出。

这里我们来看一段英文介绍： You have a queue in RabbitMQ. You have some clients consuming from that queue. If you don’t set a Qos setting at all (Basic.Qos), then RabbitMQ will push all the queue’s messages to the client as fast as the network and the clients will allow. 也就是说，如果由于某些原因，队列中堆积了比较多的消息，就可能导致Consumer内存溢出卡死，于是发生恶性循环，队列消息不断堆积得不到消化，彻底地悲剧了。其实这个问题可以通过设置Basic.Qos来很好的解决。

博主这里实验了下，先往一个queue里发送200MB+的消息，然后进行消费：

QueueingConsumer consumer = new QueueingConsumer(channel);
channel.basicConsume(QUEUE_NAME, false, consumer);

在client端发送Basic.Consume帧，并设置回调函数为QueueingConsumer之后，并不真正消费QueueingConsumer中的LinkedBlockingQueue中的内容，通过JVisualVM可以看到堆内存的变化，如下图所示：

可以看到堆内存一直在增加，博主这里只测试了发送200+MB的消息，如果发送的更多，那么这个堆会变得更大，直到OutOfMemory。

在stackoverflow上也有关于QueueingConsumer的疑问，有人说QueueingConsumer不是event-driven的，也有人提及了内存溢出的问题。看来QueueingConsumer的毛病真的不少，都推荐使用继承DefaultConsumer的方式进行消费。

如果博主后面搜集到更多的证据，也会在本博文中更新相关的内容。
如果你有相关的资料，也可以留言分享一下，大家互相促进~~

参考资料

RabbitMQ之Consumer消费模式（Push & Pull）
[九]RabbitMQ-客户端源码之Consumer
RabbitMQ-api-guide
解决RabbitMQ队列超长QueueingConsumer导致JVM内存溢出的问题

欢迎跳转到本文的原文链接：https://honeypps.com/mq/why-is-queueingconsumer-marked-deprecated/

欢迎支持笔者新作：《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》，同时欢迎关注笔者的微信公众号：朱小厮的博客。

为什么QueueingConsumer会被Deprecated?相关推荐

消息中间件（Kafka/RabbitMQ）收录集
本篇主要整理工作中遇到的一些消息中间件的相关知识,包括Kafka, RabbitMQ, RocketMQ, ActiveMQ等,不排除收录其他消息中间件的可能. 这里会持续收录相关知识,包括安装.部署 ...
RabbitMQ优秀博文整理
1.关于主流MQ的介绍,各MQ的优缺点.MQ的使用选举等 MQ消息队列详解.四大MQ的优缺点分析_从百草园杀到三味书屋&的博客-CSDN博客_几种消息队列的优缺点 2.RabbitMQ常见问题 ...
DeprecationWarning: the md5 module is deprecated; use hashlib instead import md5
原来的python脚本是在Ubuntu 14.04 64bit上写的,运行没有问题,但是在CentOS 6.3上的crontab中定时执行时,每次都报 DeprecationWarning: the ...
【FFmpeg】解决警告warning: xxx is deprecated [-Wdeprecated-declarations]的方法
1.问题描述编译FFmpeg程序时,经常报一些关于"deprecated"的警告信息,具体内容如下: decode.cpp:28:2: warning: 'void av_reg ...
php解决 mysql_connect(): The mysql extension is deprecated and will be removed in the future: use mysq
微信小程序开发交流qq群 173683895 承接微信小程序开发.扫码加微信. The mysql extension is deprecated and will be removed i ...
解决 The mysql extension is deprecated and will be r
为什么80%的码农都做不了架构师?>>> 解决 The mysql extension is deprecated and will be removed in the fut ...
neutron CLI is deprecated and will be removed in the future. Use openstack CLI instead
1.现象描述: 以前在测试环境中使用过icehouse版本,记得当时查看网络列表是使用neutron net-list,最近两天在测试openstack ocata的时候发现好多之前的命令都不能正常使 ...
C++关键字deprecated
指示声明有此属性的名字或实体被弃用,即允许但因故不鼓励使用. 语法 [[deprecated]] [[deprecated( 字符字面量 )]] 解释指示允许使用声明有此属性的名称或实体,但因故不鼓 ...
Pandas 中的这些函数/属性将被 deprecated
作者 | luanhz 来源丨小数志导读 Pandas对于日常数据分析和处理来说是最常用的工具(没有之一),笔者之前也总结分享了很多相关用法和技巧. 与之不同,今天本文来介绍几个已经在函数文档中列入 ...

为什么QueueingConsumer会被Deprecated?

参考资料

为什么QueueingConsumer会被Deprecated?相关推荐

最新文章

热门文章