5.x版本 logstash中 elasticsearch插件的workers,无法配置大于1,会提示 This plugin uses the shared and doesn't need this option

这个的意思是进到logstash本身的配置文件pipeline.output.workers。

不要一开始就修改workers个数。这也许是一个误区。虽然确实可以起到一些作用。

检查cpu

请注意CPU是否被大量使用。 在Linux / Unix上,运行top -H以查看线程分解的进程统计信息,以及总CPU统计信息。
如果CPU使用率很高,请跳到有关检查JVM堆的部分,然后阅读有关调整Logstash工作线程设置的部分。

检查内存

请注意Logstash在Java VM上运行的事实。 这意味着Logstash将始终使用您分配给它的最大内存量。
查找使用大量内存的其他应用程序,并可能导致Logstash切换到磁盘。 如果应用程序使用的总内存超过物理内存,则会发生这种情况。

检查IO

监视磁盘I / O以检查磁盘饱和。

如果使用Logstash插件(例如文件输出),可能会使存储饱和,则可能会出现磁盘饱和。
磁盘饱和也可能发生,如果你遇到很多错误,强制Logstash生成大的错误日志。
在Linux上,可以使用iostat,dstat或类似于监视磁盘I / O的东西。

监视网络I / O以实现网络饱和。

如果使用执行大量网络操作的输入/输出,则可能发生网络饱和。
在Linux上,可以使用诸如dstat或iftop之类的工具来监视网络。

通常情况下,如果堆大小太低,CPU利用率经常过限制(百分之百),导致JVM不断进行垃圾回收。
检查此问题的快速方法是将堆大小加倍,并查看性能是否提高。 不要增加超过物理内存量的堆大小。 为操作系统和其他进程保留至少1GB的空闲空间。
可以使用随Java分发的jmap命令行实用程序或使用VisualVM对JVM堆进行更准确的度量。

调整Logstash工作线程设置:

首先使用-w标志扩大管道工作线程的数量。 这将增加可用于过滤器和输出的线程数。 如果需要,可以安全地将其扩展到多个CPU内核,因为线程可以在I / O上变为空闲。
默认情况下,每个输出只能在单个管道工作线程中处于活动状态。 可以通过更改每个输出的配置块中的workers设置来增加此值。 不要使此值大于管道工人的数量。
还可以调整输出批处理大小。 对于许多输出,例如Elasticsearch输出,此设置将对应于I / O操作的大小。 在Elasticsearch输出的情况下,此设置对应于批处理大小。

pipeline.batch.size设置定义单个工作线程在尝试执行过滤器和输出之前收集的最大事件数。 较大的批量大小通常更高效,但增加了内存开销。 某些硬件配置要求您通过设置LS_HEAP_SIZE变量来增加JVM堆大小,以避免使用此选项导致性能下降。 此参数的值超过最佳范围会导致由于频繁的垃圾回收或与内存不足异常相关的JVM崩溃而导致性能下降。 输出插件可以将每个批处理作为逻辑单元处理。 例如,Elasticsearch输出针对接收的每个批生产批量请求。 调整pipeline.batch.size设置可调整发送到Elasticsearch的批量请求的大小。

pipeline.batch.delay设置很少需要调整。 此设置调整Logstash管道的延迟。 流水线批处理延迟是Logstash在当前管道工作线程中接收到事件后等待新消息的最大时间(毫秒)。 在此时间过后,Logstash开始执行过滤器和输出.Logstash在接收事件和在过滤器中处理该事件之间等待的最大时间是pipeline.batch.delay和pipeline.batch.size设置的乘积。

如果计划修改默认管道设置,请考虑以下建议:

事件的总数由pipeline.workers和pipeline.batch.size设置的乘积确定。称为流动计数。 在调整pipeline.workers和pipeline.batch.size设置时,请记住流动计数的值。 以不规则间隔间歇接收大型事件的管道需要足够的内存来处理这些尖峰。 相应地配置LS_HEAP_SIZE变量。
测量每个更改以确保其性能提高,而不是降低。
确保留下足够的内存可用来应付突然增加的事件大小。 例如,生成表示为大文本块的异常的应用程序。

工作程序的数量可以设置为高于CPU核心的数量,因为输出经常在I / O等待条件中花费空闲时间。
Java中的线程具有名称,可以使用jstack,top和VisualVM图形工具来确定给定线程使用的资源。
在Linux平台上,Logstash标记了所有可以描述的线程。 例如,输入显示为[base] <inputname,过滤器/输出工作者显示为[base]> workerN,其中N是整数。 在可能的情况下,还会标记其他线程以确定其目的。

转载于:https://www.cnblogs.com/guochunyi/p/6148618.html

logstash5.x改变相关推荐

  1. 点击改变div高度_css实现div两列布局(两种方法)

    一.应用场景 左侧一个导航栏宽度固定,右侧内容根据用户浏览器窗口宽度进行自适应 二.思路 首先把这个问题分步解决,需要攻克以下两点: 1.让两个div并排到一行 2.让一个div宽度固定,另个div占 ...

  2. 解决LC_ALL: 无法改变区域选项 (UTF-8): 没有那个文件或目录的问题

    问题: -bash: 警告:setlocale: LC_ALL: 无法改变区域选项 (UTF-8): 没有那个文件或目录 -bash: 警告:setlocale: LC_ALL: 无法改变区域选项 ( ...

  3. Qt中如何改变三角形图形项的包围盒

    Bounding Rect 和 Shape 的联系与区别 Bounding Rect 将 item 的外边界定义为矩形,所有绘制必须限制在此区域内,QGraphicsView 使用它来确定 item ...

  4. 改变自己,让自己变得更好

    在现实生活中,有些时候我们会想着去改变别人,希望别人能顺从自己一点,这样心里会好受一些:但往往让我们想不到的是,每个人都有自己的想法,都有自己的主见: 并不是每个人都能理解你,都会按你的意愿去顺从你的 ...

  5. 人要懂得放下已经发生,却又无法改变的事情

    在生活中,有些事情如果注定是无法改变的,那么就尽可能快的释怀,要坦然接受,坚强的走出来.毕竟很多事情,不会因为你的悲伤,结果就会改变. 不如,果断看开放下,然后收拾心情重新开展好的事情发展.未来的路还 ...

  6. 在批评中改变自己,才能真正取得进步

    在工作中难免会遇到上司批评时候,而批评一般有两种:有一种批评是带有情绪的批评,这种批评往往来自于你的上司,因为你工作上的问题激怒了你的上司. 当你面对这样的批评时要微笑,然后倾听,这个时候千万不要辩解 ...

  7. view(*args)改变张量的大小和形状_pytorch reshape numpy

    20201227 这个方法是在不改变数据内容的情况下,改变一个数组的格式,参数及返回值,官网介绍: a:数组–需要处理的数据 newshape:新的格式–整数或整数数组,如(2,3)表示2行3列,新的 ...

  8. Android ListView 点击item改变item的背景颜色(ListView实现光标移动)

    一下demo 地址 实现的效果图如下 ListView 光标移动,实现很是简单,这里是指item背景的改变 使用 listSelector listSelector  用户指定当前选中item 的颜色 ...

  9. Ubuntu 系统禁止或者改变中文简体切换繁体,方便使用AS全局搜索

    使用Ubuntu 系统 开发的我们在使用android studio 或者idea 在使用全局搜索的时候发现确实切换中文简体字和繁体字 很烦闹,自己也不使用繁体字就把切换禁止了算了 下面说下禁止的方法 ...

最新文章

  1. 全球 Top 1000 计算机科学家 h 指数公布,中国顶尖计算机科学家人数进入前三
  2. VS2017 安装程序清单签名验证失败
  3. Windows下安装MySQL(解压版本)
  4. 深入浅出python机器学习_7.1_支持向量机
  5. mysql视图管理和存储过程
  6. 设计灵感|单色配色,如何让海报更出彩?
  7. mysql报错代码10051_zabbix_server 不能监听端口tcp 10051(示例代码)
  8. 分窗 Gram-Schmidt 高光谱降维的 水稻纹枯病检测
  9. SpringBoot整合高德地图 地理编码\逆地理编码
  10. windows7初次使用
  11. apa引用要在文中吗_如何在研究论文中引用文献
  12. Ravpower苹果20W充电器,充电快又稳,使用更安全
  13. 中国超级计算机神威 上市公司,中国拟研发百亿亿级超级计算机 秒杀目前最快神威...
  14. mysql 写锁和读锁_mysql的封锁机制以及读锁和写锁的区别
  15. 经典WinCC如何移植到TIA博途WinCC Professional?
  16. hihihi,我又回来啦!今天分享的是2021:【例4.6】最大公约数 代码如下
  17. 程序猿生存定律-六个程序猿的故事(2)
  18. server多笔记录拼接字符串 sql_sqlserver 将多行数据查询合并为一条数据
  19. win10系统还原被组策略关闭怎么解决
  20. mysql ddl ddm_数据库ddl ddm

热门文章

  1. Mysql函数访问oracle,Oracle与MySql函数
  2. linux oracle swd.oui,centos7安装oracle11g报错,请问怎么解?
  3. java文件操作和_JAVA文件操作类和文件夹的操作
  4. python datetime.date 和数据库date_Python成为专业人士笔记-date 对象、time 对象及datetime用法深度剖析...
  5. linux smb 启动失败,[已解决]windows能看到smb,但是打不开
  6. uva 12563——Jin Ge Jin Qu hao
  7. uva 1611——Crane
  8. -又见GCD -- ACM解决方法
  9. 215. 数组中的第K个最大元素 golang
  10. linux 常用命令02--文件属性 以及软硬链接