elasticsearchTemplate 批量插入数据时，报错es节点拒绝插入。

错误信息：

org.springframework.data.elasticsearch.ElasticsearchException: Bulk indexing has failures. Use ElasticsearchException.getFailedDocuments() for detailed messages [{970893=RemoteTransportException[[node-1][127.0.0.1:9300][indices:data/write/bulk[s][p]]]; nested: EsRejectedExecutionException[rejected execution of org.elasticsearch.transport.TransportService$7@4e8e5243 on EsThreadPoolExecutor[bulk, queue capacity = 200, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@78ffd538[Running, pool size = 1, active threads = 1, queued tasks = 200, completed tasks = 1104226]]];,

解决方法：

查看各节点线程池配置
GET /ES地址/_nodes/thread_pool/

执行上述命令查看线程池配置：

{"_nodes":{"total":1,"successful":1,"failed":0},"cluster_name":"my-application","nodes":{"OKYdCPdRQMSCUWaXn-RXuA":{"name":"node-1","transport_address":"127.0.0.1:9300","host":"127.0.0.1","ip":"127.0.0.1","version":"6.0.0","build_hash":"8f0685b","roles":["master","data","ingest"],"thread_pool":{"force_merge":{"type":"fixed","min":1,"max":1,"queue_size":-1},"fetch_shard_started":{"type":"scaling","min":1,"max":2,"keep_alive":"5m","queue_size":-1},"listener":{"type":"fixed","min":1,"max":1,"queue_size":-1},"index":{"type":"fixed","min":1,"max":1,"queue_size":200},"refresh":{"type":"scaling","min":1,"max":1,"keep_alive":"5m","queue_size":-1},"generic":{"type":"scaling","min":4,"max":128,"keep_alive":"30s","queue_size":-1},"warmer":{"type":"scaling","min":1,"max":1,"keep_alive":"5m","queue_size":-1},"search":{"type":"fixed_auto_queue_size","min":2,"max":2,"queue_size":1000},"flush":{"type":"scaling","min":1,"max":1,"keep_alive":"5m","queue_size":-1},"fetch_shard_store":{"type":"scaling","min":1,"max":2,"keep_alive":"5m","queue_size":-1},"management":{"type":"scaling","min":1,"max":5,"keep_alive":"5m","queue_size":-1},"get":{"type":"fixed","min":1,"max":1,"queue_size":1000},"bulk":{"type":"fixed","min":1,"max":1,"queue_size":200},"snapshot":{"type":"scaling","min":1,"max":1,"keep_alive":"5m","queue_size":-1}}}}}

可以看到我们线程池的配置如下：
“bulk”:{“type”:“fixed”,“min”:1,“max”:1,“queue_size”:200}

下一步：
修改线程池的配置：
PUT /_cluster/settings
{
“transient”: {
“threadpool.bulk.type”: “fixed”,
“threadpool.bulk.queue_size”: 1000,
“threadpool.bulk.size”: 128,
“threadpool.bulk.min”: 128,
“threadpool.bulk.max”: 128
}
}

发现报了如下错误：transient setting [threadpool.bulk.max], not dynamically updateable，
原来是queue_size参数并不能通过api来更改了，需要修改配置文件并且重启机器。
注意 thread_pool.bulk.size 不可以超过cpu核数的2倍,修改配置如下，重启之后就OK。

 thread_pool.bulk.queue_size: 10000thread_pool.bulk.size: 16

elasticsearchTemplate 批量插入数据时，报错es节点拒绝插入。相关推荐

【MyBatis动态SQL批量修改数据出现报错问题】
MyBatis动态SQL批量修改数据出现报错问题 MyBatis动态SQL批量修改数据出现报错问题问题描述 XML文件中的动态SQL 执行结果测试执行报错日志解决原数据库URL 修改后数据库 ...
在Sql2005中，向表中插入数据时遇到uniqueidentifier列，如何插入数据？
在Sql2005中,向表中插入数据时遇到uniqueidentifier列,如何插入数据? 原文 http://blog.csdn.net/quou2002/article/details/59650 ...
oracle插入时间报错,Oracle 插入时间时报错：ORA-01861: 文字与格式字符串不匹配的解决办法...
一.写sql的方式插入到Oracle中往oracle中插入时间 '2007-12-28 10:07:24' 如果直接按照字符串方式,或者,直接使用to_date('2007-12-28 10:07 ...
向数据库插入数据没有报错，但是数据库里面并没有数据
前言:今天通过Durid操作数据库的时候,在Dao 层实现增删改查都没有报错,但是数据库里面一直没有数据.郁闷了好久- 结果既然是,Jdbc 配置文件Url 那里跟的库不是我要操作的那个库. 这个时候 ...
Oracle 插入时间时 ,报错：ORA-01861: 文字与格式字符串不匹配
这个错误一般出现在时间字段上,即插入的时间格式和数据库现有的时间格式不一致,如:直接使用to_date('2007-12-28 10:07:24'),没有指定日期格式,会报错 . 解决的方法是格式化插 ...
Db2插入数据溢出报错测试
本文是测试Db2数据库插入数据报错.具体来讲,是通过命令行.JDBC.Mybatis等各种方式,尝试把一个长度为11的字符串插入到 VARCHAR(8) 的字段,查看报错信息,方便以后遇到类似的错误时 ...
pymysql 向MySQL 插入数据无故报错
一件怪神奇的事情,在使用pymysql向MySQL插入数据的过程中,报以下错误(一些表的插入没有报错!) pymysql.err.ProgrammingError: (1064, "You ...
mysql a foreign key constraint fails_外键记录有存在，插入数据却报错a foreign key constraint fails...
今天在MySQL的一张表里插记录时,出现一个错误提示: Cannot add or update a child row: a foreign key constraint fails (`jeesn ...
ssm mysql 插入date 数据_SSM中插入数据没有报错，但是数据库没有值?报错-问答-阿里云开发者社区-阿里云...
mybatis默认开启事务不会自动提交,只有调用了commit才会提交事务.你这种情况明显是事务成功执行了,而且自增ID也已生效,但事务本身没有提交,请调用mybatis的commit方法提交事务! ...

elasticsearchTemplate 批量插入数据时，报错es节点拒绝插入。

elasticsearchTemplate 批量插入数据时，报错es节点拒绝插入。相关推荐

最新文章

热门文章