【kafka】Error while fetching metadata xxx: {TEST=LEADER_NOT_AVAILABLE}
本人菜鸡一只,该文章会比较短,而且没有比较详细的报错和图片,但是我想解决问题的思路还是可以分享下的!
公司有一个kafka集群,我接手做了些文字匹配的东西之后,好久都没人用过了。
然后最近公司想做统一日志的收集,打算开启一个消费者来处理多个项目的日志,结果就发生了如下的问题!
19/06/12 10:25:37 WARN clients.NetworkClient:
[Producer clientId=console-producer] Error while fetching metadata with correlation id 62 : {my_test_topic=LEADER_NOT_AVAILABLE}
我发现有人的报错和我一样,报错就是类似这个:https://www.orchome.com/1108
情况大概是这样的,需要检查几个地方:
1、kafka服务是否正常?
-1.我们kafka服务是通过CM启动的,可以在CM上面查看运行情况(我这个报错,CM上看是正常的)
-2.可以去到具体启动kafka的那几台机器上通过:jps -ml来查看(jps -ml可以查看该broker启动的时候我读取哪个配置文件),这个很关键!因为如果服务用A配置文件启动,结果你改的是B配置文件,就算你把B配置文件改上天了,都不会生效的!!
2、是否是自己的代码或者其他东西写错了?
当你确认服务正常的时候,那么可以使用自带的生产者和消费者来测试,因为这个是可以确保生产者和消费者没问题的一个点(因为你手写的生产者或者消费者代码有可能会有问题啊!!!)
测试命令如下:
1、创建topic
kafka-topics.sh --create --zookeeper zk1:2181 --replication-factor 1 --partitions 1 --topic mytest_topic2、开启生产者:
kafka-console-producer.sh --broker-list kafka1:9092,kafka2:9092... --topic mytest_topic 3-1、消费者操作:
kafka-console-consumer.sh --broker-list kafka1:9092,kafka2:9092... --from-beginning --topic mytest_topic
3-2、也可以这么开启消费者:
bin/kafka-console-consumer.sh --zookeeper zk1:2181 --topic topic mytest_topic
结果我就是在这一步开启生产者要发数据的时候报错了!!!
3、如何解决该报错?
当我通过前两步确认了你的环境没什么大问题,但是却发送不了数据,我开始静下心来看报错!
1、Error while fetching metadata (获取元数据异常)
2、LEADER_NOT_AVAILABLE (无法获取该topic的leader)
也就是说,很可能是注册在zookeeper上的信息有问题!通过新创建topic,也不能发送消息的情况,我确认了,这个异常跟topic没有什么关系,所以肯定还是broker的问题!
因此我回想起了之前的事情:
【kafka】报错:advertised.listeners参数的重要性(外部访问局域网kafka):https://blog.csdn.net/lsr40/article/details/84135959
这个集群的advertised.listeners参数,还是外网的ip和端口,是不是有可能这个外网ip和端口被运维关掉了的原因,导致节点之间通讯异常,topic选不出leader呢(因为topic是通过leader来与生产者和消费者交互的,这部分知识大家可以自行百度,或者查阅我的kafka的相关文章)
果然经过我的确认,确实那个ip和外网端口已经关闭,所以我将kafka的配置文件进行修改:
advertised.listeners改成内网ip(默认当前机器的ip)
advertised.port改成内网端口(默认9092)
重启kafka服务,就修好了该kafka环境
总结:当遇到一些报错的时候,还是要一点一点的有目的的找,不要盲目的乱试(当然这需要对该框架有一定了解的情况下),大部分报错是环境问题,其次才是代码问题!
好了,本文还满短的,主要是为了把这个解决问题的思路和方法记录下来,菜鸡一只,下次再见拜拜~
(题外话:最近工作,天天跑数据跑的头都疼了!!!!嘎嘎嘎嘎)
【kafka】Error while fetching metadata xxx: {TEST=LEADER_NOT_AVAILABLE}相关推荐
- 【kafka】produce response correlation id xxx on topic-partition retrying Error: NETWORK_EXCEPTION
1.美图 2.背景 参考:添加链接描述 错误 2020-04-19 21:01:29,612 WARN org.apache.kafka.clients.consumer.internals.Cons ...
- 【Kafka】Error when freeing index buffer (kafka.log.OffsetIndex) NullPointException
1.美图 2.背景 今天windows启动kafka的时候,突然报错 2015-07-14 17:00:45,197] WARN Error when freeing index buffer (ka ...
- 【kafka】 Error when handling request Name: FetchRequest cannot compare its segment info since it only
文章目录 1.概述 2. 源码解读 2.1 KafkaApis.handleFetchRequest 2.2 ReplicaManager.fetchMessages 2.3 DelayedOpera ...
- 【Kafka】ERROR Error when sending message to topic topic_lcc with key: null, value: 4 bytes with error
文章目录 1.场景1 1.1.背景 1.2. 远程连接 2.场景再现2 2.1 背景 3. 场景再现3 N.扩展阅读 1.场景1 1.1.背景 [lcc@lcc ~/soft/kafka/kafka_ ...
- Kafka : WARN Error while fetching metadata with correlation id xx : {=UNKNOWN_TOPIC_OR_PARTITION}
文章目录 1.美图 2.背景 3.验证 4.场景再现 5. 场景再现 1.美图 2.背景 不知道什么原因,用kafka命令发送消息时候,一直报 bin/kafka-console-producer.s ...
- 【Kafka】报错:Error while fetching metadata with correlation id 1 : {topic_lcc=LEADER_NOT_AVAILABLE}
文章目录 1.美图 2.背景 3. 解决方法1 3.1 原因 3.2 问题解决 4.场景再现 5.神奇日志 6.解决 6.1 解决方法 7.kafak topic坑 8. 场景再现 1.美图 2.背景 ...
- 【Error】 WARN [Producer clientId=console-producer] Error while fetching metadata wit
今天在使用Kafka生产数据时出现一个错误,具体报错如下 2021-12-29 18:17:50,662] WARN [Producer clientId=console-producer] Erro ...
- 【Kafka】kafka Current offset xxx for partition xxx out range
文章目录 1.背景 1.背景 kafka报错 kafka Current offset xxx for partition xxx out range 该问题和以下2个问题有所关系 [Kafka]ka ...
- flume 对接 kafka 报错: Error while fetching metadata with correlation id 35 {=INVALID_TOPIC_EXCEPTION}
flume 对接 kafka 报错:Error while fetching metadata with correlation id 35 : {=INVALID_TOPIC_EXCEPTION} ...
最新文章
- Android 启动界面的制作
- vue调用methods里的方法
- linux 统计当前目录下文件或者文件夹的数量
- 组装服务器配置清单_2020年组装电脑配置清单列表
- 我是如何 2 个月拿到 4 份 Offer 并收入翻倍的?
- linux删除csv换行符,从CSV保存行删除换行符(Remove linefeed from csv preserving r
- Shell脚本学习-阶段十三-在 Linux 中使用日志来排错
- Adapter中notify(),notifyAll(),notifyDataSetChanged(),notifyDataSetInvalidaded()方法的区别
- configure: error: Cannot find OpenSSL's libraries
- Vue中异步组件(结合webpack,转载)
- Windows via C/C++ 学习(6)内核对象
- Unity汉化字段重命名Inspector中字段属性时显示错位及其解决办法——Unity常见问题
- 记录编译Hi3559A时遇到的一些错误和解决方法
- html页脚固定,jQuery实现页脚永远固定在页面底部
- dubbo中的group与version的存在意义
- 用css伪元素制作箭头图标
- 笔记本在Win7/Win8/win8.1下安装OS X 10.9.3懒人版通用教程
- 【转】最实用的IT类网站及工具大集合
- Netty核心功能与线程模型精讲
- PE文件结构图解,比较牵强,仅为学习笔记,高手见笑