kafka创建topic_Kafka实战宝典:一文带解决Kafka常见故障处理
Kafka自带常用工具
Kafka的bin目录下shell脚本是kafka自带的管理工具,提供topic的创建/删除/配置修改、消费者的监控、分区重载、集群健康监控、收发端TPS压测、跨机房同步等能力,Kafka运维者可以使用这些工具进行集群的管理。
Kafka节点的启/停
###kafka 运行
bin/kafka-server-start.sh -daemon ../config/server.properties &
###kafka 停止
bin/kafka-server-stop.sh
如果上面命令并未停止掉相应的进程,建议执行kill –s TERM $pid,完成进程关闭。
Topic的创建/删除/配置修改
Kafka的bin目录下有若干shell脚本,提供很多工具,完成kafka的元数据的监控和管理。
##创建topic
./kafka-topics.sh --zookeeper xxxx --replication-factor 3 --partitions 10 --create --topic xxxx
##查看topic
./kafka-topics.sh --zookeeper xxxx --describe –topic xxxx
##-删除topic
./kafka-topics.sh --delete --zookeeper xxxx--topic xxxx
## 查看集群中的topic
./kafka-topics.sh --zookeeper xxxx –list
## 查看指定topic配置
./kafka-topics.sh --zookeeper xxxx --describe --topic xxx
## 修改超时时长
./kafka-topics.sh --zookeeper xxxx --alter --topic xxxx --config retention.ms=864000
## 增加topic分区数
./kafka-topics.sh --zookeeper xxxx --alter --partitions 5 --topic xxxx
Topic的生产/消费
## kafka生产消息
./kafka-console-producer.sh --broker-list xxxx --topic xxxx
## 消费kafka 若不需要重头消费,去掉from-beginning
./kafka-console-consumer.sh --zookeeper xxxx --topic xxxx -from-beginning
查看/修改消费偏移量
## kafka_0.10前查看kafka的消费积压
./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper xxxx --topic xx -group xx
## kafka_1.0新版本后查看kafka的消费积压
./kafka-consumer-groups.sh --bootstrap-server xxxx --describe --group xxx
## 修改zk中保存的偏移量
./zkCli.sh –server xxxx:xxset /consumer/xxx/xx
## 修改kafka中保存的偏移量 kafka_0.10前版本不支持修改偏移量操作,0.11后版本支持
./kafka-consumer-groups.sh --bootstrap-server xxxx –group xxx –topic xxx:xx –shift-by xxxx --execute
Topic的分区重载
一般分区重载在集群新加节点(kafka集群增加节点后,旧topic不会进行数据的重载)和分区备份列表扩增的时候需要用到,分区重载需要预先设定重载的json配置文件;
##指定需要分配的broker列表
./bin/kafka-reassign-partitions.sh --zookeeper xxxx --topics-to-move-json-file xx.json --broker-list "1,2,3,4,5" --generate b
##执行重载计划
./kafka-reassign-partitions.sh --zookeeper xxxx --reassignment-json-file xxx.json –execute
##验证重载计划
./kafka-reassign-partitions.sh --zookeeper xxxx --reassignment-json-file xxx.json --verify
Kafka常见问题
处理Kafka常见问题的思路是首先检查集群健康,在实时监控集群节点运行日志的基础上找出影响集群状态的问题,broker状态不正常会导致发端问题和消费积压,确认集群节点正常后,发送端和消费端的问题可以通过调优解决.
Broker常见问题
1、分区ISR列表出现频繁Expanding, Shinking,导致broker不可用:
Kafka的集群中有节点日志出现大量的ISR列表频繁Expanding, Shinking问题造成当前节点不可用问题,该问题出现的原因为:Kafka的每个topic有若干个分区partition,每个partiton可能有多个备份,这样就单个分区而言,多个备份中有leader和follower两种角色,follower会定时从leader同步数据,每个分区都有一个ISR列表,该列表表征了分区的多个备份是否在同步中,若follower挂掉或者网络抖动,则被移除ISR列表,若恢复正常,则加入到ISR列表。
若出现ISR频繁的Expanding和 Shinking表明可能是单个分区的数据量过大导致部分分区的follower无法及时备份,或者follower无法及时同步足够的消息已满足ISR判定条件,从而被Shinking清除出ISR列表,瞬间又追上复制速度,从而Expanding加入到ISR列表。
解决方法:修改kafka的配置文件,增加单个broker的复制数据的线程数,降低ISR列表判定条件(时长+条数)。
2、节点OOM问题
Kafka的默认启动内存256M,Kafka的生产端首先将数据发送到broker的内存存储,随机通过主机的OS层的数据刷盘机制将数据持久化,因此Kafka需要一定大小的内存空间,在生产环境一般建议将启动内存调整,官方建议内存在4-8G左右大小;
若节点出现OOM,进程运行日志会出现OOM关键词(目前已加入关键字告警),随即kafka进程宕掉;
解决方法:修改${KAFKA_HOME}/bin/kafka-server-start.sh脚步。
3、java.io.IOException Connection to xx was disconnected before the response was read xxxxxxxxxxxxxxxxxx
针对此问题,网上的意见不一。导致该报错的问题有很多,Kafka集群中的各个节点,均会自主发起同步其他节点数据的线程,用以已达到数据备份目的,若集群中有broker节点不正常或负载过高,其他broker节点同步该节点数据的线程即会出现这种报错,因此该类问题通常伴随着ReplicaFetcherThread线程shutdown日志.
解决方法:
1、观察集群的其他节点是否有同样报错,多个报错日志中是否都指向固定的kafka节点(连接问题),若指向同一broker,则表明数据同步线程无法读取该节点的消息,该节点存在问题,观察该节点的iostat,是否存在读写瓶颈(硬件+OS层均需要巡检)。
2、若集群的多个节点均存在同样的报错,且报错信息指向不同的节点(该问题较少出现),则排除单个broker问题造成的问题,观察不影响数据收发,可忽略该报错。
4、broker上kafka进程正确启/停
生产中遇到过单个物理机部署多个Kafka实例的场景,在执行./kafka-server-stop.sh脚本,该脚本会匹配机器上所有运行的kafka实例,并全部关闭,如下,因此若一个机器上有多个kafka实例,需要关闭特定的Kafka实例,建议使用kill –s TERM $pids 方式停止进程。
Kafka的启动方式使用:
./kafka-server-start –daemon ../conf/server.properties &
关于启/停的验证:kafka进程的启动/关闭状态,可通过log/server.log跟踪,但在启动时一般需要大量的时间恢复文件和index,关闭时需要shutdow一些同步数据的线程,因此根据zookeeper中的节点信息判定是否正确完成启动/关闭:
1.使用./zkCli.sh –server host:port进入到zk的元数据树;
2.查看get /brokers/ids/ 得到加入zk的节点数;
5、broker运行日志大量topic不存在报错,导致节点不可用
若broker的运行日志大量刷topic不存在的WARN,并导致节点不可用;表明该集群存在topic被删除,但有发端仍使用该topic发送数据,此时需要检查broker上的2个配置项:
delete.topic.enableauto.create.topics.enable
生产环境下需要进行规范化的topic管理,难免进行topic的增删,建议将自动创建topic开关关闭,将可删除topic的开关打开,设置:
delete.topic.enable=trueauto.create.topics.enable=false
Producer常见问题
当前公司的commonlog封装的是0.8版本的发端(scala版),发送效率低且默认的发送机制存在问题,官方建议尽早升级,后续将不再支持0.8版本的发送端发送消息;
1、kafka.common.MessageSizeTooLargeException
Kafka的broker和发送端、消费端都会定义单条数据大小的属性,一般默认大小是0.95G,若在broker端调整了该属性,但发端未同步设置单条数据大小,则会出现报错kafka.common.MessageSizeTooLargeException,造成整个batch数据的丢失,若消费端设置的消费单条数据大小
解决方法:修改kafka的broker配置文件、发送者、消费者的单条数据大小,综合考虑单条数据大小范围;
2、fetching topic metadata for topics [Set(test)] from broker x failed
Kafka的发端发送数据的同时会给broker发送心跳,并得到一些topic的metadata元数据信息(包括分区数、分区的leader),fetching topic metadata for topics [Set(test)] from broker x failed 报错一般表征了kafka的集群节点不健康。
解决方法:修改kafka的broker配置文件、发送者、消费者的单条数据大小,综合考虑单条数据大小范围;
3、LEADERNOTAVAILABLE
WARN Error while fetching metadata with correlation id 0{test=LEADER_NOT_AVAILABLE}
解决方法:若出现该报错,表名Topic可能正在进行leader选举 使用kafka-topics脚本检查leader信息。
4、NotLeaderForPartitionException
Kafka的生产者在得到topic某个分区的leader信息后,生产者会向topic的leader发送消息,NotLeaderForPartitionException 的报错一般发生在元数据中的leader和真实的leader不一致时候,即 leader从一个broker切换到另一个broker时,要分析什么原因引起了leader的切换。
5、TimeoutException
检查网络是否能通,如果可以通,可以考虑增加request.timeout.ms的值。
快速有效的解决方法
划重点
我们常说“重启是万能的”。但是若出现kafka集群不可用,且无法快速恢复集群状态,你该怎么办。
答案是:换个姿势重启!
由于kafka一般都是至少3节点,若有节点长时间启动不了,影响生产数据的发送,集群并没有完全宕(zk存储的kafka元数据信息没有丢失)。
通过在同一个主机上新建数据目录和kafka应用目录,并重启问题节点可以完成集群的快速恢复(默认丢弃问题节点的历史数据)。
kafka创建topic_Kafka实战宝典:一文带解决Kafka常见故障处理相关推荐
- kafka创建topic_Kafka系列第三篇!10 分钟学会如何在 Spring Boot 程序中使用 Kafka 作为消息队列?...
Guide哥答应大家的 Kafka系列的第3篇原创文章,写的非常详细,没有接触过 Kafka 的朋友应该都可以看懂,觉得不错的话一定要点亮你们的在看!在看就是对Guide 哥最大的鼓励! 为了保证内容 ...
- 秒杀系统架构分析与实战,一文带你搞懂秒杀架构!
作者丨猿码道 jianshu.com/p/df4fbecb1a4b 1.秒杀业务分析 正常电子商务流程 (1)查询商品: (2)创建订单: (3)扣减库存: (4)更新订单: (5)付款: (6)卖家 ...
- kafka 创建topic_Kafka试题
1.Kafka中的ISR.AR又代表什么? ISR:与leader保持同步的follower集合 AR:分区的所有副本 2.Kafka中的HW.LEO等分别代表什么? LEO:没个副本的最后条消息的o ...
- 实战:一文带你解决Mysql主从复制日常错误
使用过Mysql数据库朋友,一定听过读写分离,听的多的,估计耳朵都起茧子了.那么读写分离是怎么实现的呢,最常见的方法就是搭建Mysql的主从复制,主库提供写操作,从库提供读操作,从而达到应用的读写分离 ...
- 【Node.js实战】一文带你开发博客项目(使用假数据处理)
个人简介
- 【Node.js实战】一文带你开发博客项目之初识Koa2(koa2安装使用、搭建开发环境、测试路由)
个人简介
- #芯片傻瓜使用宝典# 一文带你读懂DCP01xxxB系列的手册
DCP01B系列是一款功率为1W的非整流隔离DC/DC转换芯片.这个芯片需要的外设器件很少,因此非常适合作为输出使能开关和电源开关频率同步的情况下使用.关注这个芯片是因为工作中使用到了DCP0105B ...
- 【Node.js实战】一文带你开发博客项目之Express重构(博客的增删查改、morgan写日志)
个人简介
- Kafka实战宝典:Kafka的控制器controller详解
一.控制器简介 控制器组件(Controller),是 Apache Kafka 的核心组件.它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群.集群中任意一 ...
最新文章
- java url 生成图片_JAVA 通过URL生成水印图
- 在多台机器上搭建Hadoop的分布式环境
- Linux 进程通信fifo,Linux 进程通信之FIFO的实现
- AOJ GRL_1_C: All Pairs Shortest Path (Floyd-Warshall算法求任意两点间的最短路径)(Bellman-Ford算法判断负圈)
- linux5 vnc,CentOS 5 下安装配置VNC
- 终于把结婚照片做成了MTV
- 大数据之-Hadoop3.x_MapReduce_切片源码总结---大数据之hadoop3.x工作笔记0105
- Android WiFi Dhcp 获取到 IP 和配置的过程
- 一个java文件里可以有多个类嘛?
- mac电脑如何装双系统Linux,苹果电脑双系统怎么装【详细教程分享】
- Python百钱百鸡问题
- 最优化理论与方法学习笔记01——黄金分割法与进退法求单峰区间Matlab编程实现
- [1-1] 把时间当做朋友(李笑来)Chapter 1 【心智的力量】 摘录
- unity3D中enable和setactive的区别
- C语言删除字符串中的单词
- 直播区块链APP小葫芦星球即将上线
- 被垃圾分类逼疯?这个深度学习技术帮你做到垃圾自动分类
- 如何修改 linux 命令行登录界面
- Day25(线程同步安全问题,SellticketLock,DieLock,ThredGroup,ThreadPool,Timer,线程安全的类,匿名内部类的形式创建线程对象)
- 基于深度指标的网络脆弱性攻击代价定量评估方法