1.副本同步线程挂掉，出现副本缺失；重启broker服务，拉起同步线程；

2.Java NIO java.lang.OutOfMemoryError: Direct buffer memory ;

Kafka java.lang.OutOfMemoryError: Direct buffer memory总结如下：

1.目前我们Kafka生产集群未配置XX:MaxDirectMemorySize参数，流量突增时容易产生java.lang.OutOfMemoryError: Direct buffer memory；
2.通过代码验证，XX:MaxDirectMemorySize参数在未配置情况下，默认与 -Xmx 参数值一样；
3.ByteBuffer.allocateDirect(size)分配内存的方式，在超过XX:MaxDirectMemorySize参数设置的阈值时，将抛出异常：java.lang.OutOfMemoryError: Direct buffer memory，这就是我们Kafka生产集群用的Java nio的分配方式；
4.如果是直接用Unsafe类的allocateMemory(size)方法，那分配内存将不受XX:MaxDirectMemorySize参数控制，也不会抛出java.lang.OutOfMemoryError: Direct buffer memory异常；结论：把XX:MaxDirectMemorySize参数适当调大应该可以解决Kafka集群java.lang.OutOfMemoryError: Direct buffer memory内存溢出问题。

3.客户端消费到消息后，处理时间太长，导致消费组内rebalance，调大 max.poll.interval.ms 或减少max.poll.records.

4.由于服务端负载变高，客户端生产消息长时间无法发送出去，导致超时Caused by: org.apache.kafka.common.errors.TimeoutException: Expiring 85 record(s) for realtime_ads_delivery_filter-4:120002 ms has passed since batch creation；

5.打印提示FETCH_SESSION_ID_NOT_FOUND，这个属于session过期，会清理过期session，创建新的session；

6.部分场景下，某些消费者因topic分区leader是非首选leader导致消费不了；

kafka常见疑难问题相关推荐

php不用于输出的函数,PHP常用函数和常见疑难问题解答
首先介绍下比较简单但必不可少且实用的知识,可以当手册查询,适合像我一样的新手看. PHP常用库函数介绍一.PHP字符串操作常用函数1.确定字符串长度 int strlen(string str) 2 ...
Linux常见疑难问答
Linux常见疑难问答 (1)按a~z顺序排列启动服务进程. exportLC_ALL=C#英文环境变量设置,主要用于解决乱码问题 chkconfig–list|grep[z-a]:|grepon$s ...
Kafka常见面试问题
Kafka 常见面试题 1.Kafka 消息数据积压,消费能力不足怎么处理? ☆☆☆☆☆ 1)可以考虑增加Topic的分区数,并且同时提升消费组的消费者数量,消费者数=分区数.(两者缺一不可) 2)如 ...
别克汽车常见疑难故障1000实例
01.别克陆尊故障现象:机油不足.加完机油后.检查为ECU线束插头松动.看数据为机油液面传感器低.处理线束后.故障排除..[这是该车常见故障] 100.别克君越故障现象:06年款仪表显示请速 ...
30个Kafka常见错误小集合
本文是一个Kafka使用过程中的常见错误的总结.希望对你有帮助. 1.UnknownTopicOrPartitionException org.apache.kafka.common.errors.U ...
Kafka常见故障分析总结
最近的项目用Kafka比较多,之前碰到很多问题都是网上搜索解决的,我将我近期踩坑爬坑的一些情况稍微总结一下,希望对后面的同学有点帮助.有错误的地方欢迎留言. kafka基础知识可以参考这里 https ...
Kafka 常见命令行 Version 2.1.0
Kafka Command Version 2.1.0 kafka-consumer-groups.sh kafka group 消费者组:list $ ./kafka-consumer-groups ...
kafka常见的问题（具体详细）
1. Kafka 如何做到高吞吐.低延迟的呢? 这里提下 Kafka 写数据的大致方式:先写操作系统的页缓存(Page Cache),然后由操作系统自行决定何时刷到磁盘. 因此 Kafka 达到高吞吐 ...
kafka创建topic_Kafka实战宝典：一文带解决Kafka常见故障处理
Kafka自带常用工具 Kafka的bin目录下shell脚本是kafka自带的管理工具,提供topic的创建/删除/配置修改.消费者的监控.分区重载.集群健康监控.收发端TPS压测.跨机房同步等能 ...

kafka常见疑难问题

1.副本同步线程挂掉，出现副本缺失；重启broker服务，拉起同步线程；

2.Java NIO java.lang.OutOfMemoryError: Direct buffer memory ;

3.客户端消费到消息后，处理时间太长，导致消费组内rebalance，调大 max.poll.interval.ms 或减少max.poll.records.

4.由于服务端负载变高，客户端生产消息长时间无法发送出去，导致超时Caused by: org.apache.kafka.common.errors.TimeoutException: Expiring 85 record(s) for realtime_ads_delivery_filter-4:120002 ms has passed since batch creation；

5.打印提示FETCH_SESSION_ID_NOT_FOUND，这个属于session过期，会清理过期session，创建新的session；

6.部分场景下，某些消费者因topic分区leader是非首选leader导致消费不了；

kafka常见疑难问题相关推荐

最新文章

热门文章