关于应用RestHighLevelClient操作ElasticSearch出现“远程主机强迫关闭一个现有连接”的问题探究

问题背景

各行各业都在大谈“整合”，每一个“整合”概念背后又是海量数据的支撑。ElasticSearch、Solr等搜索引擎更是在这个风口大显神通。

最近在应用ElasticSearch改造会员系统时遇到了这样一个问题：某一用户在长时间无动作后，再向ES发送请求，先是长时间Loading,而后出现报错“远程主机强迫关闭了一个现有连接”。而在报错后再次发送请求一切又正常了。

从现象上推测，很可能是由于连接超时导致的错误（其实并不完全是）。

大胆猜想，小心求证（此部分并非正解，着急的同学可跳过）

这里梳理下求证过程：

我在springboot项目中采用RestHighLevelClient对ElasticSearch进行操作，直接上代码：

/*** ES开发环境配置类*/
@Configuration
@Conditional(MsgMqDevCondition.class)
public class ElasticSearchDevConfig {@Value("${es.url}")private String esPath;@Value("${es.port}")private String esPort;@Beanpublic RestHighLevelClient restHighLevelClient(){RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost(esPath,Integer.parseInt(esPort),"http")).setRequestConfigCallback(new RestClientBuilder.RequestConfigCallback() {@Overridepublic RequestConfig.Builder customizeRequestConfig(RequestConfig.Builder requestConfigBuilder) {return requestConfigBuilder.setConnectTimeout(90000000)//25hours.setSocketTimeout(90000000);}}));return client;}}

起初我以为只要按论坛上很多文章的说法，将连接时长拉宽就可以解决问题，实则大谬，官方API也只是声称这种配置是为client设置超时时间。

如果仅仅是因为连接超时导致了这个问题，我写个定时任务，高频的维持请求是不是可以解决问题呢？

/*** 定时唤醒ElasticSearch客户端*/
@Component
@Slf4j
public class ElasticClientAwakeTask {@Autowiredprivate RestHighLevelClient restHighLevelClient;@Scheduled(cron = "0 0/2 * * * ?")public void keepESAlive() {try {MainResponse info = restHighLevelClient.info(RequestOptions.DEFAULT);log.info("ES定时唤醒正常，节点名称："+info.getNodeName());} catch (IOException ignored) {log.error("ES定时唤醒异常："+ignored.getMessage());}}}

经过验证，问题并没有得到解决。

问题正解

两次鲁莽的尝试并没有解决问题，这个时候就需要坐坐冷板凳了，通过查源码终于发现了问题的关键。

其实每个client都持有一个http连接，并且开启了http的keep-alive策略复用连接。而这个对连接100%信任的复用恰恰引发了问题。

ES highLevelClient 对长连接的实现是把超时时间设置为-1，也就是说客户端永远不超时，服务端设备为了资源的利用率会检测与此设备的连接是否在使用，如果一个连接长时间没有使用，服务端会主动把这个连接回收，而此时客户端并未获得通知，由于ES服务端对客户端连接不负责任的单向清理，导致当有请求触发使用了该连接就会发现与服务端连接不上，产生timeout，客户端此时才会断开此连接。而再次请求时，由于创建了新的连接，客户端与服务端通信又正常了。因此问题的根源在于客户端没有及时发现连接的不可用并断开，需要设置让客户端主动对tcp连接进行探测保活。

通过查阅官方API，我发现其实可以通过HttpClientConfigCallback来控制线程相关的操作。这里需要注意，Java High Level REST Client 是基于 Java Low Level REST client开发的，所以低级API对连接、线程的处理与高级API并不冲突。

解决方案：

/*** ES开发环境配置类*/
@Configuration
@Conditional(MsgMqDevCondition.class)
public class ElasticSearchDevConfig {@Value("${es.url}")private String esPath;@Value("${es.port}")private String esPort;@Beanpublic RestHighLevelClient restHighLevelClient(){RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost(esPath,Integer.parseInt(esPort),"http")).setRequestConfigCallback(new RestClientBuilder.RequestConfigCallback() {@Overridepublic RequestConfig.Builder customizeRequestConfig(RequestConfig.Builder requestConfigBuilder) {return requestConfigBuilder.setConnectTimeout(90000000)//25hours.setSocketTimeout(90000000);}}).setHttpClientConfigCallback((httpAsyncClientBuilder -> {httpAsyncClientBuilder.disableAuthCaching();//禁用身份验证缓存//显式设置keepAliveStrategyhttpAsyncClientBuilder.setKeepAliveStrategy((httpResponse,httpContext) -> TimeUnit.MINUTES.toMillis(3));//显式开启tcp keepalivehttpAsyncClientBuilder.setDefaultIOReactorConfig(IOReactorConfig.custom().setSoKeepAlive(true).build());return httpAsyncClientBuilder;})));return client;}}

关于应用RestHighLevelClient操作ElasticSearch出现“远程主机强迫关闭一个现有连接”的问题探究相关推荐

远程主机强迫关闭一个现有连接安卓开发完美解决版
远程主机强迫关闭一个现有连接安卓开发问题描述 android Studio控制栏报错:远程主机强迫关闭一个现有的连接.构建项目失败.导致项目无法运行. 问题产生原因在今后的几天中,这个错误经 ...
远程主机强迫关闭一个现有连接-=-解决办法
远程主机强迫关闭一个现有连接在Android studio调试过程中经常会遇到这个问题,解决方法总结如下: 最简单粗暴直接有效 adb kill -server adb start -server ...
SQL SERVER 远程主机强迫关闭一个现有连接
SQL SERVER 远程主机强迫关闭一个现有连接在做一个数据比对程序.昨天还能连接的,突然今天就不能连接首先在数据服务器查看.服务都已启动.客户端能连接.没有其它异常最后想起,不久之前我把电脑 ...
python post 远程主机强迫关闭了一个现有的连接_ConnectionResetError:[WinError10054远程主机强迫关闭一个现有连接...
最近在使用Airtest这套框架尝试web自动化界面测试的时候,在脚本之前都可正常运行的情况下,偶有的时候遇到连接错误,报错:Connection abourted. ConnectionResetE ...
Android开发——错误：远程主机强迫关闭一个现有连接——解决办法
最简单粗暴直接有效 adb kill -server adb start -server 如果不行就只能规规矩矩的查问题了打开终端窗口 win+R 查看5037端口都有哪些进程输入 netstat ...
hubbledotnet 远程连接提示：无法从传输连接中读取数据：远程主机强迫关闭一个现有的连接...
我用本地hubbledotnet(安装32位)去连接服务器hubbledotnet(64位) 提示:无法从传输连接中读取数据:远程主机强迫关闭一个现有的连接 ...
C#远程主机强迫关闭一个现有链接问题简述
所谓的远程主机强迫关闭一个现有链接,我的理解是:客户端与服务端之中,有一个率先中断了已经建立的SOCKET,从而导致连接的另一端被强行关闭链接------毕竟你连接的另一端已经关闭了,那你还链接个毛啊 ...
Navicat连接SqlServer 提示远程主机关闭一个现有连接
解决方法:https://docs.microsoft.com/en-us/sql/ssms/download-sql-server-management-studio-ssms?view=sql-s ...
频繁发送socket命令返回：[WinError 10054] 远程主机强迫关闭了一个现有的连接
第一类错误原因:发送http请求太过频繁,引起远程主机的怀疑,被网站怀疑是恶意攻击行为. 解决方法: 在发送命令之后关闭连接,防止被认为恶意连接设置socket默认等待时间设置读取信息的最大时间 ...

关于应用RestHighLevelClient操作ElasticSearch出现“远程主机强迫关闭一个现有连接”的问题探究

关于应用RestHighLevelClient操作ElasticSearch出现“远程主机强迫关闭一个现有连接”的问题探究相关推荐

最新文章

热门文章