命令消费kafka报错(id: -1 rack: null) disconnected
CDP 717环境使用kafka-console-consumer
命令消费kafka报错如下
23/03/28 09:19:07 WARN clients.NetworkClient: [Consumer clientId=consumer-console-consumer-52833-1, groupId=console-consumer-52833] Bootstrap broker xx.xx.xx.xx:9092 (id: -1 rack: null) disconnected
原因
是因为kafka开启了kerberos
具体检查可见
1、In Cloudera Manager, navigate to Kafka > Configuration.
2、Set SSL Client Authentication to none.
3、Set Inter Broker Protocol to SASL_PLAINTEXT.
解决方式
1、创建文件jaas.conf
KafkaClient {com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
keyTab="/var/run/cloudera-scm-agent/process/11111-kafka-KAFKA_BROKER/kafka.keytab"
principal="kafka/xxxx@XXX.XXX.COM";
};
注意:这里principal
不清楚的话可以先执行kinit认证后,klist查看对应信息填入即可
2、创建文件client.properties
security.protocol=SASL_PLAINTEXT
sasl.kerberos.service.name=kafka
3、执行命令
这里的jaas文件路径参考上面1存放路径
export KAFKA_OPTS="-Djava.security.auth.login.config=/home/user/jaas.conf"
4、执行消费命令
/opt/cloudera/parcels/CDH/bin/kafka-console-consumer --topic mytpoic --bootstrap-server brokerip:9092 --consumer.config client.properties --from-beginning
参考链接
https://docs.cloudera.com/cdp-private-cloud-base/7.1.7/kafka-securing/topics/kafka-secure-kerberos-enable.html
命令消费kafka报错(id: -1 rack: null) disconnected相关推荐
- 【问题解决】Kafka报错 Bootstrap broker x.x.x.x:9092 (id: -1 rack: null) disconnected
问题复现 近日针对某一客户需求开发了一个需要使用Kafka的功能,功能是什么暂且不论,在本地虚机的Kafka连接一切正常遂放到测试服务器上验证功能,以下是监听topic成功和警告报错: 2023-05 ...
- 【kafka】kerberos认证下 kafka 报错Bootstrap broker host:ip (id: -1 rack: null) disconnected
文章目录 1.概述 1.概述 本博文中的IP都是随便写的. 公司整了一个新的环境,然后我要进行适配,结果发现对方有认证,无法直接使用,使用控制台生产和消费的时候报错. [domain_realm][r ...
- kafka报错:Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected
这是一个惨痛的教训 就在昨天我和我四个同事因为这个问题搞到了夜里十一点半,啊啊啊啊啊!!!太恶心了!!! 在启动工程时,kafka报这个错误,在配置文件中配置kafka的依赖,和另一个服务器上配置的一 ...
- 【Flink】flink消费kafka报错 KafkaConsumer.assign Ljava/util/List
文章目录 1.概述 1.概述 flink消费kafka上数据时报错: Caused by: java.lang.NoSuchMethodError: org.apache.kafka.clients. ...
- 【Flink】Flink 消费kafka报错 AMRMClientAsyncImpl Interrupted while waiting for queue InterruptedException
1.背景 一个flink etl程序,读取一个kafka集群的数据,到两外一个集群,然后报错 2020-06-06 15:56:00 PM [Thread: flink-akka.actor.defa ...
- 【Flink】Flink 消费 kafka报错 写入 es 死信队列 FetchSessionHandler DisconnectException
文章目录 1.背景 1.背景 一个flink程序,其他环境一直没报错,这个环境偶然报错,错误如下 2021-01-26 12:37:03,908 INFO org
- 使用IntelliJ IDEA导入 Flink 消费kafka报错 Error: A JNI error has occurred, please check your installation an
提示找不到类,pom中已经引用了jar包,使用eclipse也可以执行,就是IntelliJ不行 java.lang.NoClassDefFoundError: org/apache/flink/ap ...
- java kafka consumer不消费,报错marking the coordinator (id rack null) dead for group
问题描述:在linux系统,通过 kafka 命令行客户端测试消费正常,但通过Java consumer客户端无法正常接收队列消息,启动后输出如下日志信息: 15:21:34.864 [concurr ...
- kafka发送数据报错: Error connecting to node xxxxx:9092 (id: 1 rack: null)java.net.UnknownHostExceptio
报错内容: warn报错: [kafka-producer-network-thread | producer-1] WARN org.apache.kafka.clients.NetworkCli ...
最新文章
- 【go】sdk + idea-plugin 开发工具安装
- html用颜色区分不同区间数据_最新数据可视化指南
- 图片不能置于底层怎么办_PPT中常遇到的图片问题和解决方案
- Web UI 用户管理部分 Bug报告
- java开发环境安装原理,java开发环境搭建 java开发环境的完整搭建过程
- 内存 增量数据持久_内存中数据模型和大数据持久性
- 手机进销存系统/供应链管理系统
- linux qt程序编译出错,QTcreator编译出错
- SWEET HOME!田志喜研究员:给中国大豆“嵌入”高产基因
- 《数据库系统概念》20-恢复系统
- [DEncrypt] DESEncrypt--加密/解密帮助类 (转载)
- 「HNOI 2015」落忆枫音
- 音乐网站搭建源码Sourcecode
- 1.3版走迷宫小游戏(C++)
- Hive应用:选取分隔符
- CSDN问答标签技能树(二) —— 效果优化
- 佳能e478打印机怎么连接wifi
- 几种基本放大电路详解
- 301重定向解决域名被墙教程
- centos1-修改ip地址、更换密码
热门文章
- 12.集成学习进阶一——xgboost
- Linux 软件包简介
- SVN服务端客户端安装配置及权限管理
- [附源码]java+ssm计算机毕业设计公交公司车辆调度管理系统48c6v(源码+程序+数据库+部署)
- 一个浙江人的23条经典经商法则(很值得借鉴)
- 绿色版免费PDF转换器
- 虚幻4学习笔记(2)BSP画刷
- java.lang.NoSuchMethodError: com.sun.jna.Native.load(Ljava/lang/String;(我的情况是maven依赖冲突导致)
- php公众号支付后的微信通知,关于微信公众号支付细数我踩过的坑
- java文件后缀筛选的三种方法