文章目录

前言
- 1.22 Kafka常见故障排错
- 1）UnknownTopicOrPartitionException
- 2）LEADER_NOT_AVAILABLE
- 3）NotLeaderForPartitionException
- 4）TimeoutException
- 5）RecordTooLargeException
- 6）Closing socket connection
- 7）ConcurrentModificationException
- 8）NetWorkException [kafka-producer-network-thread | producer-1] o.apache.kafka.common.network.Selector : [Producer clientId=producer-1] Connection with / disconnected
- 9）ILLEGAL_GENERATIONILLEGAL_GENERATION occurred while committing offsets for group
总结

前言

1.22 Kafka常见故障排错

1）UnknownTopicOrPartitionException

org.apache.kafka.common.errors.UnknownTopicOrPartitionException:

This server does not host this topic-partition

报错内容：分区数据不在

原因分析：producer向不存在的topic发送消息，用户可以检查topic是否存在或者设置auto.create.topics.enable参数。

2）LEADER_NOT_AVAILABLE

WARN Error while fetching metadata with correlation id 0 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient

报错内容：leader不可用

原因分析：原因很多 topic正在被删除正在进行leader选举使用kafka-topics脚本检查leader信息，进而检查broker的存活情况尝试重启解决。

3）NotLeaderForPartitionException

org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition

报错内容：broker已经不是对应分区的leader了

原因分析：发生在leader变更时当leader从一个broker切换到另一个broker时，要分析什么原因引起了leader的切换。

4）TimeoutException

org.apache.kafka.common.errors.TimeoutException: Expiring 5 record(s) for test-0: 30040 ms has passe

报错内容：请求超时

原因分析：观察哪里抛出的观察网络是否能通如果可以通可以考虑增加request.timeout.ms的值，

5）RecordTooLargeException

WARN async.DefaultEventHandler: Produce request with correlation id 92548048 failed due to [TopicName,1]: org.apache.kafka.common.errors.RecordTooLargeException

报错内容：消息过大

原因分析：生产者端消息处理不过来了可以增加 request.timeout.ms 减少 batch.size。

6）Closing socket connection

Closing socket connection to/127,0,0,1.(kafka.network.Processor)

报错内容：连接关闭

原因分析：如果javaApi producer版本高，想在客户端consumer启动低版本验证，会不停的报错，无法识别客户端消息。

7）ConcurrentModificationException

java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access

报错内容：线程不安全

原因分析：Kafka consumer是非线程安全的。

8）NetWorkException [kafka-producer-network-thread | producer-1] o.apache.kafka.common.network.Selector : [Producer clientId=producer-1] Connection with / disconnected

报错内容：网络异常

原因分析：网络连接中断检查broker的网络情况。

9）ILLEGAL_GENERATIONILLEGAL_GENERATION occurred while committing offsets for group

报错内容：无效的“代”

原因分析：consumer错过了 rebalance 原因是consumer花了大量时间处理数据。

需要适当减少 max.poll.records值增加 max.poll.interval.ms 或者想办法增加消息处理的速度。

总结

kafka-3-故障排错相关推荐

php调取 zabbix实时数据_Linux运维必知的Zabbix故障排错实战
从0开始解决线上Zabbix监控平台故障 (1)学习Linux技术,后期从事Linux运维方面的工作,作为运维人员最主要的工作职责之一:保障企业门户网站.业务系统.数据库.服务器高效稳定的运行,一旦有 ...
路由添加失败参数错误_路由器故障排错三大经典案例详解
对于网络管理员来说,熟悉与掌握路由排错的思路和技巧是非常必要的.小e将通过三例典型的路由故障排错案例进行分析. 案例1:不堪重负,路由器外网口关闭 1.网络环境某单位使用的是Cisco路由器,租用电 ...
vSphere 故障排错：针对 Virtual Machine 的故障排查
vSphere 故障排错:针对 Virtual Machine 的故障排查 https://mp.weixin.qq.com/s?__biz=MjM5NTk0MTM1Mw==&mid=2650 ...
vSphere 故障排错思路总结
vSphere 故障排错思路总结 https://mp.weixin.qq.com/s?__biz=MjM5NTk0MTM1Mw==&mid=2650633515&idx=2& ...
VMware vSphere 5.1 群集深入解析（二十九）-故障排错
VMware vSphere 5.1 Clustering Deepdive HA.DRS.Storage DRS.Stretched Clusters Duncan Epping &Fran ...
常见网络故障排错思路
常见网络故障排错思路 OSPF排错思路总结: 1.检查设备之间的IP地址是否互通 2.检查设备是否可以发送ospf 报文 3.检查设备是否可以接收ospf 报文 4.检查设备之间的ospf 报文的关键 ...
计算机常见故障ppt,计算机硬件组成与常见故障排错.ppt
<计算机硬件组成与常见故障排错.ppt>由会员分享,可在线阅读,更多相关<计算机硬件组成与常见故障排错.ppt(33页珍藏版)>请在装配图网上搜索. 1.计算机硬件组成与常见故 ...
组成计算机的常见硬件故障,计算机硬件组成与常见故障排错
<计算机硬件组成与常见故障排错>由会员分享,可在线阅读,更多相关<计算机硬件组成与常见故障排错(33页珍藏版)>请在人人文库网上搜索. 1.计算机硬件组成与常见故障排错,苗si ...
dell服务器查看内存详细信息,DELL R710服务器内存故障排错
DELL R710服务器内存故障排错 dmidecode - DMI table decoder 通过dmidecode可以得知,有点像windows下的资源管理器 man dmidecode 可以得 ...
故障排错-解决迅雷播放器在Windows 10中长时间停止响应
这两天在几家客户那里介绍微软的Windows Azure,有几个精彩的demo我还录制了视频.没成想迅雷播放器在我的Windows 10预览版上似乎得了水土不服之症,每次打开视频,最起码要卡10~15 ...

kafka-3-故障排错