下载最新的logstash5.4.1打开把之前的配置文件加入进去,启动logstash提示报错了,未使用geoip插件的配置文件正常启动。按照提示发现是maxmind的数据库解析出错,重新至maxmind(http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.tar.gz)下载解析即可。说明下之前的配置文件为

geoip {

source => ["X_Forward_IP"]

database => "/logstash2.2.2/conf/GeoLiteCity.dat"

更改为

geoip {

source => ["X_Forward_IP"]

database => "/usr/local/logstash-5.4.1/config/GeoLite2-City.mmdb"

Logstash多实例问题:

当启动多个/usr/local/logstash-5.4.1/bin/logstash -f /usr/local/logstash-5.4.1/config/nginx.conf之后就会出现you must change the "path.data" setting.这个时候就必须要

mkdir -p /usr/local/logstash-5.4.1/data/{1,2,3,4}

/usr/local/logstash-5.4.1/bin/logstash -f /usr/local/logstash-5.4.1/config/nginx.conf --path.data=/usr/local/logstash-5.4.1/data/1

/usr/local/logstash-5.4.1/bin/logstash -f /usr/local/logstash-5.4.1/config/nginx.conf --path.data=/usr/local/logstash-5.4.1/data/2

需要在后面加上--path.data参数才能启动多实例

设置副本数及分片数:

elasticsearch在以前的2.x版本,可以在配置文件中指定副本数及分片数。 在elasticsearch的5.x的版本中不能配置文件中配置这2个参数了。需要副本数,可以设置为:

全局设定:

curl -XPUT http://192.168.2.228:9200/_settings -d '{ "number_of_replicas" : 0 }'

定义某一个索引:

curl -XPUT http://192.168.2.228:9200/.kibana/_settings -d '{ "number_of_replicas" : 0 }'

elasticsearch分片不向其他节点分布:

集群由2台es组成,但是分片只分布在一台节点,查看日志发现报错

[2017-08-03T23:59:24,414][WARN ][o.e.c.r.a.DiskThresholdMonitor] [elk228] high disk watermark [90%] exceeded on [nYN4Cc07QIuhg4nu9s0Eig][elk228][/elk/data/nodes/0] free: 5.2gb[8.1%], shards will be relocated away from this node

这个意思就是节点空间快使用完毕,不向节点复制数据,导致的节点出错,清理集群机器磁盘空间。

如想要关闭磁盘检查功能

1
2
3
4
5
curl -XPUT http://localhost:9200/_cluster/settings -d '{
    "transient" : {
        "cluster.routing.allocation.disk.threshold_enabled" false
    }
}'

ps:刚开始我以为是新版本的logstash不兼容老版本的grok,原来只是IP数据库的问题

本文转自 rong341233 51CTO博客,原文链接:http://blog.51cto.com/fengwan/1933596

Logstash5.4.1解析日志报错处理相关推荐

  1. java mysql 日志解析_otter4.2.17在解析日志时报错(mysql数据库版本为5.7.3-m13)

    解析日志报错如下: pid:20 nid:8 exception:canal:canal-mideast:java.io.IOException: Received error packet: err ...

  2. 如何看日志报错 journalctl -xe

    前言 你在启动服务时经常会出现报错信息,但你却不知道呢出现问题自己看半天也看不懂. 我们一起来解析下报错信息如何查看,英语不好的可以下载一个"网易有道翻译. 查看日志的命令是: journa ...

  3. oracle 10035 err 942,案例:Oracle日志报错 Fatal NI connect error 12170 TNS-12535 TNS-00505

    天萃荷净 Oracle数据库alert日志文件报错Fatal NI connect error 12170,通过查看mos相关文章找到解决办法 今天在一台服务器的日志文件中,发现如下信息: Fatal ...

  4. zabbix server下数据库日志报错

    数据库日志报错 postgres@ubuntu:~$ cat logfile FATAL: no pg_hba.conf entry for host "::1", user &q ...

  5. 2021-08-15nginx访问502,日志报错:connect() to 127.0.0.1:180 failed (13: Permission denied)解决

    nginx访问502,日志报错:connect() to 127.0.0.1:180 failed (13: Permission denied)解决 安装启动nginx配置以后,访问报502错误,然 ...

  6. java安装报错循环冗余检查_SQLSERVER2012备份日志报错:”读取失败: 23(数据错误(循环冗余检查)。)”...

    SQLSERVER2012备份日志报错:"读取失败: 23(数据错误(循环冗余检查).)" 问题: SQLSERVER2012数据库,8月6日的LOG自动备份出现问题,之前备份一直 ...

  7. HBase hmaster无法正常启动,日志报错Operation category READ is not supported in state standby.hdfs ha hbase配置修改

    E2:HBase hmaster无法正常启动,日志报错Operation category READ is not supported in state standby. hdfs配置了ha,hbas ...

  8. 记一次rsync日志报错directory has vanished

    中午两点的时候邮件告知rsync同部svn源库失败,看rsync日志报错显示如上,当时还在上课,没在公司,怀疑是不是有人动了svn的版本库,后来询问同事并通过vpn登录服务器上查看版本库是正常的,也没 ...

  9. 每日一记:zabbix日志报错cannot process item fra[usable,pct] trap: item type 15 cannot be used with traps

    zabbix日志报错截取如下: 26099:20190718:110102.608 cannot process item "fra[usable,pct]" trap: item ...

最新文章

  1. python语言做法_python学习笔记(十六)
  2. Crusher Django 学习笔记4 使用Model
  3. 什么事,是你当了领导才明白的?(转)
  4. 【包邮免费送】Python 全栈知识图谱
  5. ModbusTCP协议
  6. 如何讲网页保存为pdf文件
  7. requests 职友集招聘信息爬虫
  8. 腾讯bugly的使用,以及全局抓包配置
  9. composer global require “fxp/composer-asset-plugin:~1.3“ 错误 1407742e
  10. 完整会议议程:NGINX Sprint China 2022 年度线上大会
  11. 程序员也需要知道的经济学通识
  12. 岁月温柔-24 妈妈转到省医院第4天
  13. 记录docker failed to initialize docker desktop is shutting down解决办法
  14. python selenium+firefox 使用已打开的火狐浏览器进行操作(不需要每次都重新打开火狐)
  15. 产品运营模型:AARRR模型
  16. 【元胞自动机】元胞自动机双边教室疏散【含Matlab源码 1208期】
  17. 计算机软件工具有哪些,电脑绘画的软件工具有哪些?
  18. 抽象代数 04.07 Jordan-Holder定理
  19. MacBook当作Win电脑副屏
  20. 华为无线设备配置动态负载均衡

热门文章

  1. AI模型落地难?试试这个15分钟搞定的开源工具
  2. 员工执行力差怎么办?任正非说,抓住这12条,3天打造狼性团队
  3. 在推荐系统中,我还有隐私吗?联邦学习:你可以有
  4. 特定场景下Yolo改进算法:Poly-Yolo
  5. 机器学习“七宗罪”:影响可信度的七个常见错误
  6. 2019年末,10 位院士对 AI 的深度把脉(上)
  7. IBM大裁70% 员工,撕掉了国内大批伪AI企业最后一块遮羞布!
  8. 学术干货:看清华教授如何将深度学习引入音频信号处理
  9. 深度学习框架PyTorch学习——训练一个分类器
  10. 让AI有道德!用AI的方式去发展AI