SparkStreaming读Kafka- Couldn't find leaders for Set

在运行SparkStreaming程序时，出现了这样的错
Couldn’t find leaders for Set([tt,1], [tt,2]))
这个异常意思是Spark找不到partition的Leader。查看监控后发现，在异常发生的时间点，有一个Broker挂掉了。可是对应Topic的replica设置的2，就算挂掉一个，应该有replica顶上啊。后来发现，这是由于存在Partition的Replica没有跟Leader保持同步更新，也就是通常所说的“没追上”。查看某个Topic是否存在没追上的情况：
观察其中的Replicas和Isr是否一致，如果出现Isr少于Replicas，则对应Partition存在没追上的情况

解决方法：
增大num.replica.fetchers的值，此参数是Replicas从Leader同步数据的线程数，默认为1，增大此参数即增大了同步IO。经过测试，增大此值后，不再有追不上的情况

SparkStreaming读Kafka- Couldn't find leaders for Set相关推荐

读Kafka Consumer源码
最近一直在关注阿里的一个开源项目:OpenMessaging OpenMessaging, which includes the establishment of industry guideline ...
使用idea编写SparkStreaming消费kafka中的数据，并对数据进行某一指标的处理【小案例】（五）
接使用idea编写SparkStreaming消费kafka中的数据[小案例](四) https://georgedage.blog.csdn.net/article/details/1035 ...
sparkStreaming连接kafka整合hbase和redis
sparkStreaming消费kafka数据,并将数据保存到redis和hbase当中去,实现实时 import org.apache.hadoop.hbase.client.{Admin, Con ...
Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式
Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式,可以从代码中简单理解成Receiver方式是通过zookeeper来连接kafka队列,Direct方 ...
SparkStreaming读取Kafka数据源并写入Mysql数据库
SparkStreaming读取Kafka数据源并写入Mysql数据库一.实验环境本实验所用到的工具有 kafka_2.11-0.11.0.2: zookeeper-3.4.5: spark-2. ...
sparkStreaming 处理kafka数据积压问题
使用SparkStreaming集成kafka时有几个比较重要的参数: spark.streaming.stopGracefullyOnShutdown (true / false)默认fasle 确 ...
Flume 以twitter为source，kafka为channel，hdfs为sink，再用spark streaming 读kafka topic
Flume 以twitter为source,kafka为channel,hdfs为sink,再用spark streaming 读kafka topic Flume的配置文件: kafka_twitt ...
SparkStreaming整合Kafka(0.8.2.1)计算不同业务指标并实现累加（结合Redis）
业务是订单成交信息,要求计算出成交总金额,每一类商品的金额,区域成交的金额这三个指标. 数据格式:C 202.102.152.3 家具婴儿床 2000 SparkStreaming读取Kafka中的 ...
第91课：SparkStreaming基于Kafka Direct案例实战和内幕源码解密 java.lang.ClassNotFoundException 踩坑解决问题详细内幕版本
第91课:SparkStreaming基于Kafka Direct案例实战和内幕源码解密 /* * *王家林老师授课http://weibo.com/ilovepains */ 每天晚上20: ...
SparkStreaming读取Kafka的Json数据然后保存到MySQL
一般我们使用SparkStreaming消费kafka数据,获取到数据后解析,使用JDBC的方式写入数据库,如下所示. 以上的方式没什么毛病,但是当我们消费的kafka数据类型比较多样的时候,我们需要 ...

SparkStreaming读Kafka- Couldn't find leaders for Set

SparkStreaming读Kafka- Couldn't find leaders for Set相关推荐

最新文章

热门文章