kafka + storm 错误 Async loop died
2024-05-12 15:18:33
错误如下：
13524 [Thread-10-kafka-spout] ERROR b.s.util - Async loop died!java.lang.RuntimeException: java.nio.channels.ClosedChannelExceptionat storm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:103) ~[storm-0.0.1-SNAPSHOT.jar:?]at storm.kafka.ZkCoordinator.getMyManagedPartitions(ZkCoordinator.java:69) ~[storm-0.0.1-SNAPSHOT.jar:?]at storm.kafka.KafkaSpout.nextTuple(KafkaSpout.java:135) ~[storm-0.0.1-SNAPSHOT.jar:?]at backtype.storm.daemon.executor$fn__5624$fn__5639$fn__5670.invoke(executor.clj:607) ~[storm-core-0.10.1.jar:0.10.1]at backtype.storm.util$async_loop$fn__545.invoke(util.clj:479) [storm-core-0.10.1.jar:0.10.1] at clojure.lang.AFn.run(AFn.java:22) [clojure-1.6.0.jar:?] at java.lang.Thread.run(Thread.java:745) [?:1.8.0_66] Caused by: java.nio.channels.ClosedChannelException at kafka.network.BlockingChannel.send(BlockingChannel.scala:100) ~[storm-0.0.1-SNAPSHOT.jar:?] at kafka.consumer.SimpleConsumer.liftedTree1$1(SimpleConsumer.scala:78) ~[storm-0.0.1-SNAPSHOT.jar:?] at kafka.consumer.SimpleConsumer.kafka$consumer$SimpleConsumer$$sendRequest(SimpleConsumer.scala:68) ~[storm-0.0.1-SNAPSHOT.jar:?] at kafka.consumer.SimpleConsumer.getOffsetsBefore(SimpleConsumer.scala:127) ~[storm-0.0.1-SNAPSHOT.jar:?] at kafka.javaapi.consumer.SimpleConsumer.getOffsetsBefore(SimpleConsumer.scala:79) ~[storm-0.0.1-SNAPSHOT.jar:?] at storm.kafka.KafkaUtils.getOffset(KafkaUtils.java:74) ~[storm-0.0.1-SNAPSHOT.jar:?] at storm.kafka.KafkaUtils.getOffset(KafkaUtils.java:64) ~[storm-0.0.1-SNAPSHOT.jar:?] at storm.kafka.PartitionManager.<init>(PartitionManager.java:89) ~[storm-0.0.1-SNAPSHOT.jar:?] at storm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:98) ~[storm-0.0.1-SNAPSHOT.jar:?] ... 6 more 13527 [Thread-10-kafka-spout] ERROR b.s.d.executor - java.lang.RuntimeException: java.nio.channels.ClosedChannelException at storm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:103) ~[storm-0.0.1-SNAPSHOT.jar:?] at storm.kafka.ZkCoordinator.getMyManagedPartitions(ZkCoordinator.java:69) ~[storm-0.0.1-SNAPSHOT.jar:?] at storm.kafka.KafkaSpout.nextTuple(KafkaSpout.java:135) ~[storm-0.0.1-SNAPSHOT.jar:?] at backtype.storm.daemon.executor$fn__5624$fn__5639$fn__5670.invoke(executor.clj:607) ~[storm-core-0.10.1.jar:0.10.1] at backtype.storm.util$async_loop$fn__545.invoke(util.clj:479) [storm-core-0.10.1.jar:0.10.1] at clojure.lang.AFn.run(AFn.java:22) [clojure-1.6.0.jar:?] at java.lang.Thread.run(Thread.java:745) [?:1.8.0_66] Caused by: java.nio.channels.ClosedChannelException at kafka.network.BlockingChannel.send(BlockingChannel.scala:100) ~[storm-0.0.1-SNAPSHOT.jar:?] at kafka.consumer.SimpleConsumer.liftedTree1$1(SimpleConsumer.scala:78) ~[storm-0.0.1-SNAPSHOT.jar:?] at kafka.consumer.SimpleConsumer.kafka$consumer$SimpleConsumer$$sendRequest(SimpleConsumer.scala:68) ~[storm-0.0.1-SNAPSHOT.jar:?] at kafka.consumer.SimpleConsumer.getOffsetsBefore(SimpleConsumer.scala:127) ~[storm-0.0.1-SNAPSHOT.jar:?] at kafka.javaapi.consumer.SimpleConsumer.getOffsetsBefore(SimpleConsumer.scala:79) ~[storm-0.0.1-SNAPSHOT.jar:?] at storm.kafka.KafkaUtils.getOffset(KafkaUtils.java:74) ~[storm-0.0.1-SNAPSHOT.jar:?] at storm.kafka.KafkaUtils.getOffset(KafkaUtils.java:64) ~[storm-0.0.1-SNAPSHOT.jar:?] at storm.kafka.PartitionManager.<init>(PartitionManager.java:89) ~[storm-0.0.1-SNAPSHOT.jar:?] at storm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:98) ~[storm-0.0.1-SNAPSHOT.jar:?] ... 6 more 13528 [Thread-10-kafka-spout] ERROR o.a.s.s.o.a.z.s.NIOServerCnxnFactory - Thread Thread[Thread-10-kafka-spout,5,main] died java.lang.RuntimeException: java.lang.InterruptedException at backtype.storm.util$wrap_in_runtime.invoke(util.clj:49) ~[storm-core-0.10.1.jar:0.10.1] at backtype.storm.zookeeper$exists_node_QMARK_$fn__4306.invoke(zookeeper.clj:103) ~[storm-core-0.10.1.jar:0.10.1] at backtype.storm.zookeeper$exists_node_QMARK_.invoke(zookeeper.clj:99) ~[storm-core-0.10.1.jar:0.10.1] at backtype.storm.zookeeper$mkdirs.invoke(zookeeper.clj:115) ~[storm-core-0.10.1.jar:0.10.1] at backtype.storm.cluster$mk_distributed_cluster_state$reify__4580.mkdirs(cluster.clj:130) ~[storm-core-0.10.1.jar:0.10.1] at backtype.storm.cluster$mk_storm_cluster_state$reify__5120.report_error(cluster.clj:461) ~[storm-core-0.10.1.jar:0.10.1] at backtype.storm.daemon.executor$throttled_report_error_fn$fn__5469.invoke(executor.clj:193) ~[storm-core-0.10.1.jar:0.10.1] at backtype.storm.daemon.executor$mk_executor_data$fn__5523$fn__5524.invoke(executor.clj:256) ~[storm-core-0.10.1.jar:0.10.1] at backtype.storm.util$async_loop$fn__545.invoke(util.clj:489) ~[storm-core-0.10.1.jar:0.10.1] at clojure.lang.AFn.run(AFn.java:22) ~[clojure-1.6.0.jar:?] at java.lang.Thread.run(Thread.java:745) [?:1.8.0_66] Caused by: java.lang.InterruptedException at java.lang.Object.wait(Native Method) ~[?:1.8.0_66] at java.lang.Object.wait(Object.java:502) ~[?:1.8.0_66] at org.apache.storm.shade.org.apache.zookeeper.ClientCnxn.submitRequest(ClientCnxn.java:1342) ~[storm-core-0.10.1.jar:0.10.1] at org.apache.storm.shade.org.apache.zookeeper.ZooKeeper.exists(ZooKeeper.java:1040) ~[storm-core-0.10.1.jar:0.10.1] at org.apache.storm.shade.org.apache.curator.framework.imps.ExistsBuilderImpl$2.call(ExistsBuilderImpl.java:172) ~[storm-core-0.10.1.jar:0.10.1] at org.apache.storm.shade.org.apache.curator.framework.imps.ExistsBuilderImpl$2.call(ExistsBuilderImpl.java:161) ~[storm-core-0.10.1.jar:0.10.1] at org.apache.storm.shade.org.apache.curator.RetryLoop.callWithRetry(RetryLoop.java:107) ~[storm-core-0.10.1.jar:0.10.1] at org.apache.storm.shade.org.apache.curator.framework.imps.ExistsBuilderImpl.pathInForeground(ExistsBuilderImpl.java:157) ~[storm-core-0.10.1.jar:0.10.1] at org.apache.storm.shade.org.apache.curator.framework.imps.ExistsBuilderImpl.forPath(ExistsBuilderImpl.java:148) ~[storm-core-0.10.1.jar:0.10.1] at org.apache.storm.shade.org.apache.curator.framework.imps.ExistsBuilderImpl.forPath(ExistsBuilderImpl.java:36) ~[storm-core-0.10.1.jar:0.10.1] at backtype.storm.zookeeper$exists_node_QMARK_$fn__4306.invoke(zookeeper.clj:102) ~[storm-core-0.10.1.jar:0.10.1] ... 9 more 13531 [ProcessThread(sid:0 cport:-1):] INFO o.a.s.s.o.a.z.s.PrepRequestProcessor - Processed session termination for sessionid: 0x155260ee5c8000c
原因是版本不兼容问题，
storm-0.10.1
kafka_2.10-0.10.0.0
转载于:https://www.cnblogs.com/blazer/p/5566694.html
kafka + storm 错误 Async loop died相关推荐
- Kafka+Storm+HDFS整合实践
2019独角兽企业重金招聘Python工程师标准>>> 在基于Hadoop平台的很多应用场景中,我们需要对数据进行离线和实时分析,离线分析可以很容易地借助于Hive来实现统计分析,但 ...
- kfaka storm写入mysql_flume+kafka+storm+mysql架构设计
序言 前段时间学习了storm,最近刚开blog,就把这些资料放上来供大家参考.这个框架用的组件基本都是最新稳定版本,flume-ng1.4+kafka0.8+storm0.9+mysql如果有需要测 ...
- mysql storm_flume+kafka+storm+mysql架构设计
前段时间学习了storm,最近刚开blog,就把这些资料放上来供大家参考. 这个框架用的组件基本都是最新稳定版本,flume-ng1.4+kafka0.8+storm0.9+mysql(项目是mave ...
- redis storm mysql_flume+kafka+storm+redis/mysql启动命令记录
1.flume启动 bin/flume-ng agent --conf conf --conf-file conf/flume-conf.properties --name fks -Dflum ...
- Flume+Kafka+Storm+Redis构建大数据实时处理系统：实时统计网站PV、UV+展示
http://blog.51cto.com/xpleaf/2104160?cid=704690 1 大数据处理的常用方法 前面在我的另一篇文章中<大数据采集.清洗.处理:使用MapReduce进 ...
- 在Windows端安装kafka 提示错误: 找不到或无法加载主类 的解决方案
在Windows端安装kafka 提示错误: 找不到或无法加载主类 的解决方案 参考文章: (1)在Windows端安装kafka 提示错误: 找不到或无法加载主类 的解决方案 (2)https:// ...
- 【十三】景区人流量统计：python日志生成+logstash+kafka+storm+mysql+springBoot+高德地图
storm+kafka+logstash+springBoot+高德地图 项目概述: 作用:交通信息化,智慧城市 需求:实时统计人流量并通过热力图展示. 类似于腾讯热力图的景区人流量统计 如何采集某个 ...
- NCL 错误 fatal:Loop end must be scalar, can‘t execute loop
今天写循环的时候出现了这样一个错误 fatal:Loop end must be scalar, can't execute loop 上网查了一下,果然有人和我犯一样的错误,人家的解释是这样的:大概 ...
- flume kafka storm mysql_flume+kafka+storm打通过程
0.有的地方我已经整理成脚本了,有的命令是脚本里面截取的 1.启动hadoop和yarn $HADOOP_HOME/sbin/start-dfs.sh;$HADOOP_HOME/sbin/start- ...
最新文章
- 找工作笔试面试那些事儿(10)---SQL语句总结
- 只在堆上或只在栈上定义对象
- Uipath 学习栏目基础教学：11、录制
- 计算机无法安装系统,一招就能搞定“这台电脑无法安装 Windows 11”的解决方法...
- Java 14的新功能
- 获取linux详细信息,Linux 获取网口详细信息
- 【渝粤教育】 国家开放大学2020年春季 2071美学与美育 参考试题
- 关于JS获取select值的两种实现方法
- 图片夹_各种变调夹的优缺点、原理和使用方法
- laydate日期插件使用
- python打包exe_Python | 用Pyinstaller打包发布exe应用
- 电平转换与总线收发器详细介绍
- 保持Service不被Kill掉的方法--双Service守护 Android实现双进程守护 3
- 自定义异常的两种方式
- oracle创建默认序列号,PLS-00103：为序列号oracle创建触发器(PLS-00103: Create trigger for sequence number oracle)...
- android学习笔记----多线程断点续传下载原理设计
- 云计算时代：哪些企业适合上云？
- linux vim命令详解 编辑文件 保存 退出
- 【设计模式】七大原则之“依赖倒转原则”
- 智子观测宣布和数榜签约合作，强化大数据采集技术