ES索引数据迁移

索引数据迁移

集群内部索引迁移，从一个索引迁移数据到另一个索引里

1. 创建新索引

新索引与就索引结构保持一致
通过就索引_mapping _setting 获取配置和结构信息然后创建新索引
需要注意添加如下配置

"settings": {"number_of_replicas": 0,    "number_of_shards": 3,"refresh_interval": "-1"}

设置number_of_replicas为0防止我们迁移文档的同时又发送到副本节点，影响性能
设置refresh_interval为-1是限制其刷新。默认是1秒
当我们数据迁移完成再把上面两个值进行修改即可

2. 迁移数据

POST _reindex
{"source": {"index": "old_index","size":1000   //可选，每次批量提交1000个，可以提高效率，建议每次提交5-15M的数据"query": {}  // 可选， 不写的默认是全量数据迁移 写上条件就是选择性迁移数据},"dest": {"index": "new_index"}
}

3. 恢复索引设置

PUT /new_index/_settings
{"refresh_interval": "1s","number_of_replicas": 2
}

ES索引数据迁移 _reindex相关推荐

定制化删除ES索引数据
我们有一台ES服务器,设置了每天02:00执行一次清理索引数据的定时任务,但这两天总是出现磁盘空间抖动,一线一看见超了阈值,就打电话报警,可能整晚要被叫几次,ES作为日志平台的一部分,只是为了方便我们 ...
springboot 实现elasticsearch索引数据迁移
一.前言在生产系统中,经常可能面临的一个状况就是,随着实际业务发生变更,现有的数据模型可能需要调整,而且到了必须调整不可的时候,那就只能硬着头皮做了: 数据模型的调整,说的大一点,可能是某一个业务模 ...
db2 删除索引_Elasticsearch必知必会的干货知识：ES索引操作技巧
本篇侧重讲解说明如何对index进行创建.更改.迁移.查询配置信息等. 仅创建索引:PUT index PUT /index 添加字段设置(mappings):PUT index/_mapping/t ...
在线数据迁移，数字化时代的必修课——京东云数据迁移实践
打破数据边界,是数字化时代常挂在嘴边的一句话,数据的价值是在流动中体现的,数据应用也是如此.以往为了满足开发.测试.数据保护容灾和数据分析的需要,我们不断对数据进行复制.备份.迁移,因此数据迁移非常重 ...
【elasticsearch】ES数据库重建索引 -- Reindex(数据迁移)
1.应用背景: 1.当你的数据量过大,而你的索引最初创建的分片数量不足,导致数据入库较慢的情况,此时需要扩大分片的数量,此时可以尝试使用Reindex. 2.当数据的mapping需要修改,但是大量的 ...
ES数据库重建索引——Reindex(数据迁移)
一.应用背景 ES在创建好索引后,mapping的properties属性类型是不能更改的,只能添加.如果说需要修改字段就需要重新建立索引然后把旧数据导到新索引. 1.当你的数据量过大,而你的索 ...
Elasticsearch教程-从入门到精通-ES索引迁移
一.关于搜索引擎各位知道,搜索程序一般由索引链及搜索组件组成. 索引链功能的实现需要按照几个独立的步骤依次完成:检索原始内容.根据原始内容来创建对应的文档.对创建的文档进行索引. 搜索组件用于接收用 ...
ES数据迁移_snapshot（不需要安装其他软件）
参考文章: 三种常用的 Elasticsearch 数据迁移方案 ES基于Snapshot(快照)的数据备份和还原 CDH修改ElasticSearch配置文件不生效问题目录 1.更改老ES和新ES ...
Solr数据迁移ES
作者介绍 yinanwu(吴沂楠),腾讯云 Elasticsearch 高级开发工程师本文介绍通过开源社区提供的solr-to-es迁移工具,将Solr节点中的文档迁移到腾讯云ES中的方法. 使用限 ...

ES索引数据迁移 _reindex

索引数据迁移

1. 创建新索引

2. 迁移数据

3. 恢复索引设置

ES索引数据迁移 _reindex相关推荐

最新文章

热门文章