elasticsearch的服务器响应异常及应对策略

一、异常报错情况归类

 "1、_riverstatus import_fail "
问题描述： 发现有个索引的数据同步不完整，在 http://192.168.1.17:9200/_plugin/head/ 在browse - river里看到 _riverStatus Import_fail
查看 elasticsearch 的log发现 有几条数据由于异常造成同步失败，处理好数据好重新建索引数据同步正常。
"2、Result window is too large, from + size must be less than or equal to: [10000] but was [10000000]."
result window的值默认为10000，比实际需求的小，故而报错。
两个方法：其一，在elasticsearch.yml中设置index.max_result_window，也可以直接修改某索引的settings：
curl -XPUT http://127.0.0.1:9200/indexname/_settings -d '{ "index" : { "max_result_window" : 100000000}}'
其二，使用scroll api
POST /twitter/tweet/_search?scroll=1m
{"size": 100,"query": {"match" : {"title" : "elasticsearch"}}
}
从服务器响应获取scroll_id，然后后面批次的结果可通过循环使用下面语句得到：
POST  /_search/scroll
{"scroll" : "1m", "scroll_id" : "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAD4WYm9laVYtZndUQlNsdDcwakFMNjU1QQ=="
}
关于scroll api，可参看：https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-scroll.html
"3、No Marvel Data Found (marvel error)"
一般是人为删除（比如在sense插件里执行删除命令）marvel数据，导致marvel采集出错（删除了半天数据，另外半天数据将无法正常采集），不能统计；对于这种情况，等第二天marvel就可以正常使用了。
也有可能是9300端口被占用，marvel默认使用9300端口；对于这种情况，找到9300端口占用进程，kill掉，重启kibana即可
"4、Deprecation: query malformed, empty clause found at [9:9] "
查询语句不合法，里面含有空大括号。
"5、query：string_index_out_of_bounds_exception"
查询数据时，曾遇到这个问题。后来发现是http请求头格式不对，url里多了一个斜杠，却报了这个错误，特此记录
"6、failed to obtain node locks"
在同一个节点（linux系统）上启动多个elasticsearch时出现failed to obtain node locks错误，启动失败.
异常错误参考文档：
https://www.cnblogs.com/supiaopiao/p/9087709.html
https://www.cnblogs.com/jiu0821/p/6075833.html#_label0_3

二、服务器响应异常状态码为：429

"1、es_rejected_execution_exception <429>"
此异常主要是因为请求数过多，es的线程池不够用了。
默认bulk thead pool set  queue capacity =50 这个可以设置大点
打开 elasticsearch.yml 在末尾加上
threadpool:bulk:type: fixedsize: 60queue_size: 1000
重新启动服务即可
另：
--查看线程池设置--
curl -XGET "http://localhost:9200/_nodes/thread_pool/"
非bulk入库thread pool设置可以这样修改
threadpool:index:type: fixedsize: 30queue_size: 1000
"2、ElasticSearch 429 Too Many Requests circuit_breaking_exception"
重要解决办法
关闭circuit检查：（在elasticsearch.yml中配置）
indices.breaker.type: none
状态码429参考文档地址：
https://www.cnblogs.com/sanduzxcvbnm/p/11982476.html

三、服务器响应异常状态码为：500

“5XX 回应代码以“5”开头的状态码表示服务器端发现自己出现错误，不能继续执行请求”
"1、create_failed_engine_exception <500>"
相关分片损坏.
删除该分片重建即可。
"2、urllib2.HTTPError: HTTP Error 500: Internal Server Error或者Result window is too large"
解决办法：
需要对对应index在配置上，做如下定义：
curl -XPUT http://88.88.88.88:9200/mtnews/_settings -d '{ "index" : { "max_result_window" : 10000000}}'
对log中提示的 index.max_result_window 字段进行修改（默认的为10000）
kibana的操作语句：
PUT index/_settings
{ "max_result_window" : 10000000
}
3、限制内存使用"type":"circuit_breaking_exception","reason":"[fielddata] Data too large
关于ES内存使用的一些问题：断路器
indices.breaker.fielddata.limit
fielddata 断路器默认设置堆的 60% 作为 fielddata 大小的上限。
PUT /_cluster/settings
{"persistent": {"indices.breaker.fielddata.limit": "60%"}
}
indices.breaker.request.limit
request 断路器估算需要完成其他请求部分的结构大小，例如创建一个聚合桶，默认限制是堆内存的 40%。
PUT /_cluster/settings
{"persistent": {"indices.breaker.request.limit": "40%"}
}
indices.breaker.total.limit
total 揉合 request 和 fielddata 断路器保证两者组合起来不会使用超过堆内存的 70%。
PUT /_cluster/settings
{"persistent": {"indices.breaker.total.limit": "70%"}
}
indices.fielddata.cache.size
缓存回收大小，无默认值， 有了这个设置，最久未使用（LRU）的 fielddata 会被回收为新数据腾出空间（最后一项要在elasticsearch.yml中配置）
------------有了这个设置，最久未使用（LRU）的 fielddata 会被回收为新数据腾出空间
indices.fielddata.cache.size:  40%
前三项可以动态设置,最后一项要在配置文件中修改
断路器参考文档：
https://blog.csdn.net/weixin_42166515/article/details/89093832
状态码500参考文档地址：
https://www.cnblogs.com/zklidd/p/6099475.html

六、服务器响应异常状态码为：400

"1、mapper_parsing_exception <400>"
存在字段格式不正确，与mapping不匹配。
检查文档字段格式，格式不正确有两种情况，其一是格式与mapping不匹配，其二是对字符串而言，可能字符非法。
"2、illegal_argument_exception: number of documents in the index cannot exceed 2147483519 <400>"
分片上文档数达到20亿上限，无法插入新文档。
重建索引，增加分片；也可以增加节点。
"3、 action_request_validation_exception: Validation Failed:1:no requests added <400>"
这个错误一般出现在bulk入库时，是格式不对，每行数据后面都得回车换行，最后一行后要跟空行。
修改格式就可以重新bulk了
"4、Bad Request, you must reconsidered your request. <400>"
一般是数据格式不对。
"5、Invalid numeric value: Leading zeroes not allowed\n <400>"
这种情况是整数类型字段格式不正确，比如一个整数等于0000。检查每个整数字段的数据生成即可。

七、服务器响应异常状态码为：404

"index_not_found_exception <404>"
索引不存在。
建立索引。

elasticsearch的服务器响应异常及应对策略相关推荐

蝴蝶影视服务器响应异常,elasticsearch的服务器响应异常及解决策略（转）
详述: 1 _riverStatus Import_fail 问题描述: 发现有个索引的数据同步不完整,在 http://192.168.1.17:9200/_plugin/head/ 在browse ...
金蝶服务器响应异常,金蝶提示连接金蝶云服务器异常
金蝶提示连接金蝶云服务器异常内容精选换一换华为云帮助中心,为用户提供产品简介.价格说明.购买指南.用户指南.API参考.最佳实践.常见问题.视频帮助等技术文档,帮助您快速上手使用华为云服务. 云 ...
电视PPTV服务器响应异常,PPTV出现异常错误怎么办？PPTV异常错误解决方法
PPTV是一款功能强大的网络电视软件,因此很多用户常常会在这边看电视剧.电影等,但是有时候在打开PPTV想要看点视频的时候却出现异常错误,很多人都蒙了,那么当你遇到PPTV出现异常错误了该怎么办呢?不 ...
电视PPTV服务器响应异常,pptv出现异常错误怎么解决
现在,很多朋友都挺喜欢用pptv视频软件观看视频.但是,有时候在观看过程中,出现异常错误的情况,不知道要怎么处理?下面,小编给大家带来,给很多朋友带来pptv出现异常错误的解决方法,一起来看看pptv ...
手机显示服务器响应异常是什么原因,手机老是应用无响应是怎么回事？这6种原因要知道，轻松解决问题...
手机成为人们日常生活中最常用的一种电子设备,当使用手机时,人们最不喜欢遇到的情况就是,手机出现卡顿.提示某应用无响应或者闪退等现象.那么手机老是应用无响应是怎么回事呢?小编为大家总结了6种原因以及解决 ...
metro新时代服务器响应异常,Metro新时代app无法使用怎么办 Metro新时代app常见问题一览...
Metro新时代app是一款武汉地铁官方最近推出的软件,它能够让广大拥有NFC功能的安卓手机用户通过刷手机过闸乘坐地铁.但是很多安卓手机用户发现自己无法使用这款软件,这是怎么回事呢?下面小编就为大家介 ...
华为平板服务器响应异常,华为平板触摸屏没反应
满意答案 ggwggw 2018.12.09 采纳率:43% 等级:9 已帮助:1966人连续按两次电源键重新点亮屏幕,让触摸屏自身标准.尽量使用标配充电器. 屏幕失灵就是因为表面局部带电荷, ...
ajax 服务器响应,ajax-服务器响应
如果需要获得了来自服务器的响应,则使用XMLHttpRequest 对象的 responseText 或 responseXML 属性 responseText: 获得字符串形式的响应数据,当read ...
网站服务器被攻击的形式,服务器被攻击的不同表现类型以及应对策略
服务器被攻击的不同表现类型以及应对策略许多网站站长都遇到过网络服务器被攻击的状况,被攻击之后也大多数都只有束手待毙.由于大伙儿广泛对攻击不足掌握,很多人把多很多的攻击和防御力挂在嘴上,却压根不清楚网 ...
高并发高可用系统的常见应对策略秒杀等-(阿里)
对于一个需要处理高并发的系统而言,可以从多个层面去解决这个问题. 1.数据库系统:数据库系统可以采取集群策略以保证某台数据库服务器的宕机不会影响整个系统,并且通过负载均衡策略来降低每一台数据库服务器的 ...

elasticsearch的服务器响应异常及应对策略

elasticsearch的服务器响应异常及应对策略相关推荐

最新文章

热门文章