Filebeat占用内存和CPU过高问题排查

经反馈，新部署的服务器上filebeat占用的cpu过高，且内存只增不减。

而据我了解filebeat非常轻量级，正常情况下占用的资源几乎都能忽略不计，所以怀疑是filebeat本身出了问题。

第一时间查看filebeat日志（默认路径/var/log/filebeat/filebeat），发现有大量内容输出：

2019-03-20T08:55:02.198+0800    INFO    kafka/log.go:53 producer/broker/544 starting up
2019-03-20T08:55:02.198+0800    INFO    kafka/log.go:53 producer/broker/544 state change to [open] on wp-news-filebeat/4
2019-03-20T08:55:02.198+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/4 selected broker 544
2019-03-20T08:55:02.198+0800    INFO    kafka/log.go:53 producer/broker/478 state change to [closing] because EOF
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 Closed connection to broker bitar1d12:9092
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/5 state change to [retrying-3]
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/4 state change to [flushing-3]
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/5 abandoning broker 478
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/2 state change to [retrying-2]
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/2 abandoning broker 541
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/3 state change to [retrying-2]
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/broker/478 shut down

看日志描述，似乎是一直地在不停的创建和关闭kafka连接。

起初怀疑是kafka相关dns没有配置（/etc/resolve.conf）导致连不上kafka的broker，但检查并和正常的机器对比后，dns配置是一样的，也就排除了这种情况。

接下来怀疑可能是filebeat版本的问题，因为elastic家族的产品就是那个尿性，发版速度很频繁，而且不同大版本有很多不兼容。

对比filebeat版本，发现它的版本（6.5.3）比正常的服务器（5.6.12）高一个大版本，所以怀疑不同版本对kafka的处理机制不一样导致的。

为了验证这个问题，在查阅filebeat官网后发现，6.5.x默认kafka的版本是1.0.0，而5.6.x默认的是0.8.2.0，而询问运维得知kafka版本是0.10.2.2，所以问题基本确认。

根据官方文档描述，在配置中指定了kafka版本：

output.kafka:
version: 0.10.2.2
...

问题得以解决。

参考

https://www.elastic.co/guide/en/beats/filebeat/6.5/kafka-output.html#_literal_version_literal

https://www.elastic.co/guide/en/beats/filebeat/5.6/kafka-output.html#_version

转载于:https://www.cnblogs.com/tonyauto/p/10679069.html

Filebeat占用内存和CPU过高问题排查相关推荐

64位Windows7系统中Svchost占用内存跟CPU过高的问题解决办法
安装了64位的Windows7系统,就发现一开机内存就占用非常高,而且CPU也是,然后就在进程中发现有个叫svchost的家伙占用内存何止是多简直就是多,于是乎就找了度老师,于是乎就有下面解决方案: ...
win10中System占用内存、CPU过高问题的解决方法
第一步 : 问题分析下载Process Explorer程序网址:https://process-explorer.en.softonic.com/ 打开Process Explorer主窗口,双 ...
mysql cpu 内存占用_MySQL占用内存与CPU过高测试与解决办法
为了装mysql环境测试,装上后发现启动后MySQL占用内存了很大,达8百多兆.网上搜索了一下,得到高人指点my.ini.再也没见再详细的了..只好打开my.ini逐行的啃,虽然英文差了点,不过多少M ...
win7 svchost.exe占用内存和CPU很高，电脑很卡的解决方法
本来系统用了很久都不会卡,或者说原来的问题我都已经解决过了,但是有一天,用360扫描了一下,发现Windows有些更新,我就点更新了. 这不更新倒好,电脑没啥毛病, 但是更新之后,我就发现我的浏览器 ...
凡是占用内存大,cpu高的软件都是祸害,全部删掉:
凡是占用内存大,cpu高的软件都是祸害: 比如wps,比如everything.不要看着我前面在写他们,最后我都会抛弃他们的. 因为他们占用内存太大,干事情来又慢得很.不如不要.还广告多. every ...
Java服务器内存过高CPU过高问题排查
Java服务器内存过高&CPU过高问题排查一.内存过高 1.内存过高一般有两种情况:内存溢出和内存泄漏 (1)内存溢出:程序分配的内存超出物理机的内存大小,导致无法继续分配内存,出现OOM报 ...
Java程序占用 CPU 过高怎么排查
Java程序占用 CPU 过高怎么排查线上一台服务器 CPU 使用率100% 了,如果你碰到这样的情况,如何排查并找到问题原因? 这就是一个套路题,所谓套路题就是有标准的套路解法的,掌握了套路,不仅 ...
ps aux排序 (查看进程占用内存和cpu)
查看进程占用内存和cpu: ps aux排序按内存升序排列: ps aux --sort=+rss 按内存降序排列: ps aux --sort=-rss 按cpu升序排列: ps aux --so ...
4服务器内存和普通内存_Java服务器内存过高CPU过高问题排查
一.内存过高 1.内存过高一般有两种情况:内存溢出和内存泄漏 (1)内存溢出:程序分配的内存超出物理机的内存大小,导致无法继续分配内存,出现OOM报错 (2)内存泄漏:不再使用的对象一直占据着内存不释 ...

Filebeat占用内存和CPU过高问题排查

Filebeat占用内存和CPU过高问题排查相关推荐

最新文章

热门文章