问题描述

为了提高保存数据到es消耗的时间，采取积攒到3000条文档的时候才保存到ES中，之前一直没有问题，昨天新上了几个log服务器后，经常会发现保存失败报如下错误：

No alive nodes found in your cluster

首先我要说这个错误真坑啊，以这个关键字搜索问题，花了两天也没解决，后来无意中FQ搜google，网后翻了好几页看到上面的参考文章，才知道，原来真正的错误信息隐藏在ES-PHP的Connection类中，代码如下:

添加var_dump($response['error']->getMessage());一行代码来输出一下错误信息，错误信息如下:

cURL error 55: Send failure: Broken pipe

首先觉得是curl的bug，所以我升级到了最新版本，发现问题还在，然后我调整3000条文档一保存改为500条，发现保存是没问题的，后来我怀疑是curl的body体是不是对大小有限制，但是经过询问得到的回复是没有这方面的限制，但是组长给我了一个提示，curl没有限制，可能是接收方有限制，这个提示给我了新方向，查了一下es果然有配置，配置项为http.max_content_length，默认为100M,然后我尝试了发送不同大小的数据看反应。

第一次：141M，报错
第二次: 40M,保存成功

然后我跟es维护人员确认一下http.max_content_length确实是100M，由此问题定位成功，原因也知道了

解决方法

1.一次性保存500条数据，确保一次性存储数据量不超过100M
2.由原来的VIP(一个host)改为几点IP(多host)，这样做的好处是可以重试多次。

转载于:https://www.cnblogs.com/gaoyuechen/p/9083112.html

ES-PHP向ES批量添加文档报No alive nodes found in your cluster相关推荐

python对es数据库使用bulk批量更新文档某字段的值
""" 批量写入数据 """# 按照步长分批插入数据库,缓解插入数据库时的压力length = len(json_list)step = 2 ...
WPS批量设置及批量打印文档
WPS批量设置及批量打印文档背景:我们需要一次打印多份文档,且文档页边距有统一的特殊要求,不能使用默认页边距参数,需要手动设置,如果每打印一份文档都要手动设置打印时的页边距,那么既费时又费力.这种情 ...
商城项目16_es简介、详解倒排索引、安装es以及kibana、检索es基本信息、增删改查文档
文章目录 ①. es - 背景.概述.功能.场景 ②. 核心概念 - 索引.类型.文档.映射 ③. es - 详解倒排索引 ④. 安装elasticSearch.kibana 7.4.2 ⑤. 索引操 ...
计算机删除文档中所有的空行,Word查找技巧：批量删除文档中空格、空行
原标题:Word查找技巧:批量删除文档中空格.空行在日常工作中我们经常会碰到以下2个困扰: 如,很多网上下载或拷贝到Word的纯文本形式的资料,最烦的莫过于文档中有一大堆空格或空行(回车符),格式非 ...
记录一次批量处理文档的过程
要做一项工作,内容是将一个word中的图表复制到多个(接近300个)word文档的末尾,不想一个个CTRL C+CTRL V,就想到了用程序来实现我第一个想到的使用python来实现,由于技术太渣, ...
Python学习之批量word文档转pdf并统计其页码
pypdf2是一个Python模块,可以用来读取.写入和操作PDF文件.要安装pypdf2模块,请按照以下步骤操作: 确保你已经安装了Python.你可以在终端或命令提示符中输入python --ve ...
【示例】solr添加文档/删除文档/简单查询/多条件查询
solr添加文档/删除文档/简单查询/多条件查询
Word中使用MathType批量调整文档公式的大小
Word中使用MathType批量调整文档字母公式大小背景:论文写作需要撰写大量的字母和数学公式,但是在协作撰写及内容中英文翻译过程中,字母和数学公式容易变形,因此Word中使用MathType批量 ...
wps批量将文档括号内的字符串修改颜色
wps批量将文档括号内的字符串修改颜色文档内容如下,我们想把括号内的字符串全部修改为红色. 1)使用快捷键Ctrl+h,打开替换会话框. 输入查找的内容:((*)) 输出替换的内容:(\1) 然后点 ...

ES-PHP向ES批量添加文档报No alive nodes found in your cluster

ES-PHP向ES批量添加文档报No alive nodes found in your cluster

问题描述

解决方法

ES-PHP向ES批量添加文档报No alive nodes found in your cluster相关推荐

最新文章

热门文章