记录一次elasticsearch挂掉之后无法启动 kibana Status: Red -分析过程

现象
- 现象一 kibana Status: Red
- 现象二 elasticsearch 集群挂掉
- 现象三 elasticsearch 重启
- - 检查es三个节点
  - 重启节点1 -无目录可执行权限
  - 再次重启节点1 -分片恢复加载失败
- 最终操作将三个节点重新杀掉，顺序重启
复盘
- 原因

现象

现象一 kibana Status: Red

在使用过程中，发现kibana报错，无法正常使用。

参数表示green   100% 可用的yellow：所有的主分片已经分片，但是有缺失red：至少一个主分片（以及它的全部副本）都在缺失中

上述线程表名elasticsearch集群已经出现问题，然后检查es健康状况

现象二 elasticsearch 集群挂掉

            查看索引信息    http://172.XX.XX.XX:9200/_cluster/health?pretty=true"active_shards_percent_as_number" : 100.0      #数据的正常率，100表示一切ok查看所有所有的状态    http://172.XX.XX.XX:9200/_cat/indices?v

访问如上连接，集群无法响应。

于是进入elasticsearch的机器检查。

现象三 elasticsearch 重启

检查es三个节点


ps -ef | grep elasticsearch

节点正常运行，但是访问节点1，http://172.XX.XX.XX:9200/_cluster/health?pretty=true 无响应。

重启节点1 -无目录可执行权限

kill -9 节点1进程号cd 节点1目录(/xxx/elasticsearch-5.2.2-node-2/bin)# 不可用root权限启动
./elasticsearch

报错： Caused by: java.nio.file.AccessDeniedException: /home/elkadmin/data/elk/logs
原因：无可执行权限导致
解决：chown 用户名 /home/elkadmin/ -R

如果出现如下报错: max file descriptors [1024] for elasticsearch process is too low, increase to at least [65536]

解决办法：
将当前用户的软硬限制调大。找到文件 /etc/security/limits.conf，编辑，在文件的最后追加如下配置：es soft nofile 65535
es hard nofile 65537

再次重启节点1 -分片恢复加载失败

./elasticsearch  再次启动后报错
报错 failed to list shard for shard_started on node [2eHWffdTTr2FEgkQlyxrGQ]
报错 SearchPhaseExecutionException: all shards failed

原因: 分片受损后启动节点加载失败导致。
查询所有分片保存目录，无此分片2eHWffdTTr2FEgkQlyxrGQ。

并且客户端连接也无法找到分片。过程中其中
节点1重启无法加载分片
节点2重启报 skipping exporter [default_local] as it is not ready yet

经过分析：可能是其它节点没有关闭，重启主节点(节点1)，导致无法加载分片启动。

最终操作将三个节点重新杀掉，顺序重启

杀掉三个es节点
kill -9 xxx节点1、节点2、节点3顺序重启
cd /es的bin目录下
后台启动三个节点
./elasticsearch -p /tmp/elasticsearch-pid -d

访问kibana恢复正常:http://xx.xx.xx.xx:5601/app/kibana#/discover?_g=()&_a=(columns:!(_source),index:kkmediadb,interval:auto,query:’’,sort:!(_score,desc))

复盘

原因

当时出现es节点挂掉，是因为开发人员在调试大批量删除es数据，删除语句问题导致。导致es进行大批量数据删除，导致节点卡死。

记录一次elasticsearch挂掉之后无法启动 kibana Status: Red -分析过程相关推荐

全文搜索引擎 Elasticsearch 入门（ik，kibana，x-pack）
全栈工程师开发手册 (作者:栾鹏) 架构系列文章全文搜索属于最常见的需求,开源的 Elasticsearch (以下简称 Elastic)是目前全文搜索引擎的首选. 它可以快速地储存.搜索和分析海量 ...
mysql 挂掉无法启动_mysql-配置 - MySQL错误，时不时自动挂掉，无法启动
问题 mysql时不时挂掉,无法启动,请问是什么原因啊? my.cnf配置: [client] port = 3306 socket = /tmp/mysql.sock [mysqld] port ...
渣渣菜鸡的 ElasticSearch 源码解析 —— 启动流程（上）
关注我转载请务必注明原创地址为:http://www.54tianzhisheng.cn/2018/08/11/es-code02/ 前提上篇文章写了 ElasticSearch 源码解析 -- ...
ELK学习记录三：elasticsearch、logstash及kibana的安装与配置(windows)
注意事项: 1.ELK版本要求5.X以上 2.Elasticsearch5.x版本必须基于jdk1.8,安装环境必须使用jdk1.8 3.操作系统windows10作为测试环境,其他环境命令有差异,请 ...
启动kibana报错：Elasticsearch cluster did not respond with license information
启动kibana报错:[plugin:xpack_main@6.8.5] Status changed from yellow to red - [data] Elasticsearch cluste ...
elasticsearch 7.3使用x-pack kibana登录
转载来源 : https://www.jianshu.com/p/9355bf7a72e6 介绍 Elasticsearch:分布式的 RESTful 风格的搜索和数据分析引擎,能够解决不断涌现出的各 ...
Spring Boot 2.x 启动全过程源码分析（全）
上篇<Spring Boot 2.x 启动全过程源码分析(一)入口类剖析>我们分析了 Spring Boot 入口类 SpringApplication 的源码,并知道了其构造原理,这篇我 ...
uboot启动流程概述_uboot 分析之启动流程
uboot的启动流程: 看一幅图: 1.第一阶段:start.s的内容: 点击(此处)折叠或打开 #include @该文件是第二步中mkconfig文件执行时创建的.include/config.h ...
ElasticSearch集群安装，Kibana安装，Logstash安装，Logstash-input-plugin-jdbc的配置使用
1.安装elasticsearch 参考:https://www.2cto.com/kf/201802/723573.html 1.1 三台机器创建es运行的用户 Es不能再root用户下启动,需要为 ...

记录一次elasticsearch挂掉之后无法启动 kibana Status: Red -分析过程

记录一次elasticsearch挂掉之后无法启动 kibana Status: Red -分析过程

现象

现象一 kibana Status: Red

现象二 elasticsearch 集群挂掉

现象三 elasticsearch 重启

检查es三个节点

重启节点1 -无目录可执行权限

再次重启节点1 -分片恢复加载失败

最终操作将三个节点重新杀掉，顺序重启

复盘

原因

记录一次elasticsearch挂掉之后无法启动 kibana Status: Red -分析过程相关推荐

最新文章

热门文章

记录一次elasticsearch挂掉之后无法启动 kibana Status: Red -分析过程

记录一次elasticsearch挂掉之后无法启动 kibana Status: Red -分析过程

现象

现象一 kibana Status: Red

现象二 elasticsearch 集群挂掉

现象三 elasticsearch 重启

检查es三个节点

重启节点1 -无目录可执行权限

再次重启节点1 -分片恢复加载失败

最终操作 将三个节点重新杀掉，顺序重启

复盘

原因

记录一次elasticsearch挂掉之后无法启动 kibana Status: Red -分析过程相关推荐

最新文章

热门文章

最终操作将三个节点重新杀掉，顺序重启