0、引言

将ES中的索引拷贝到其他ES中，或者将ES整体迁移，研究发现有两个开源的工具：elaticserch-dump和 Elasticsearch-Exporter。
除此之外，logstash在索引同步、迁移方面的作用也很大。
两工具及logstash实现迁移的介绍、安装、使用、验证效果等展示如下：

1、elasticsearch-dump迁移

1.1 elasticsearch-dump简介

Tools for moving and saving indicies. 从来移动和保存索引的工具。
https://github.com/taskrabbit/elasticsearch-dump

1.2 elasticsearch-dump安装

1) yum install epel-release
2) yum install nodejs
3) yum install npm
4) npm install elasticdump
5) cd node_modules/elasticdump/bin  后便可以执行操作。

安装后如下所示：

[root@N3 elasticdump]# pwd
/home/tp/node_modules/elasticdump
[root@N3 elasticdump]# ls -al
total 388
drwxr-xr-x 2 root root 4096 Mar 21 15:46 bin
-rw-r--r-- 1 root root 174 Mar 18 2016 Dockerfile
-rw-r--r-- 1 root root 299251 Mar 15 2014 elasticdump.jpg
-rw-r--r-- 1 root root 6172 Feb 2 23:47 elasticdump.js
drwxr-xr-x 2 root root 4096 Jul 13 2016 .github
drwxr-xr-x 3 root root 4096 Mar 21 15:46 lib
-rw-r--r-- 1 root root 11356 May 22 2014 LICENSE.txt
drwxr-xr-x 10 root root 4096 Mar 21 15:46 node_modules
-rw-r--r-- 1 root root 44 May 22 2014 .npmignore
-rw-r--r-- 1 root root 15135 Mar 21 15:46 package.json
-rw-r--r-- 1 root root 13335 Dec 14 06:20 README.md
drwxr-xr-x 3 root root 4096 Mar 21 15:46 test
-rw-r--r-- 1 root root 1150 Dec 2 07:54 .travis.yml

1.3 elasticsearch-dump 使用

'#拷贝analyzer如分词
elasticdump \--input=http://production.es.com:9200/my_index \
  --output=http://staging.es.com:9200/my_index \
  --type=analyzer
'#拷贝映射
elasticdump \--input=http://production.es.com:9200/my_index \
  --output=http://staging.es.com:9200/my_index \
  --type=mapping
'#拷贝数据
elasticdump \--input=http://production.es.com:9200/my_index \
  --output=http://staging.es.com:9200/my_index \
  --type=data

1.4 elasticsearch-dump实战小结

源ES版本1.6.0，目标ES版本：2.3.4，验证发现：analyzer和mapping可以拷贝成功。
但是，data拷贝不成功。目标机器ES中不能显示出数据。根本原因没有排查到。

2、 Elasticsearch-Exporter迁移

2.1 Elasticsearch-Exporter简介

https://github.com/mallocator/Elasticsearch-Exporter
A small script to export data from one Elasticsearch cluster into another. 将ES中的数据向其他导出的简单脚本实现。

2.2、Elasticsearch-Exporter安装

http://www.dahouduan.com/2014/12/25/centos-yum-install-nodejs-npm/
centos用 yum 方式安装 nodejs 和 npm

npm install nomnom
npm install colors
npm install elasticsearch-exporter --production

安装后：

[root@N3 elasticsearch-exporter]# ll -ls
total 804 drwxr-xr-x 2 root root 4096 Mar 21 22:01 drivers
12 -rw-r--r-- 1 root root 11523 Sep 19 2014 exporter.js
12 -rw-r--r-- 1 root root 11324 Mar 16 2014 LICENSE4 drwxr-xr-x 4 root root 4096 Mar 21 22:01 node_modules
12 -rw-r--r-- 1 root root 11259 Sep 19 2014 options.js
16 -rw-r--r-- 1 root root 14500 Mar 21 22:01 package.json
16 -rw-r--r-- 1 root root 12645 Sep 19 2014 README.md4 drwxr-xr-x 2 root root 4096 Apr 25 2014 tools

2.3、 Elasticsearch-Exporter使用

node exporter.js -a <source hostname> -b <target hostname> -p <s port> -q <t port> -i <s index> -j <t index>

即可实现跨机器索引的迁移。

更多的参数可以查看node exporter.js –help

[root@N3 elasticsearch-exporter]# node exporter.js --help
Elasticsearch Exporter - Version 1.4.0
Usage: exporter [options]
Options:-a <hostname>, --sourceHost <hostname>  迁移源机器地址-b <hostname>, --targetHost <hostname>  迁移目的机器地址（如果没有设置索引，目的地址需要有别于源地址）-p <port>, --sourcePort <port>   源机器的ES的端口，9200（一般）-q <port>, --targetPort <port>    目标机器的ES的端口，9200（一般）-i <index>, --sourceIndex <index> 源ES待导出的索引，如果该值不设定，整个的数据库都会导出。-j <index>, --targetIndex <index>目标机器ES的索引，如果源索引设定，该值必须填写。

2.4、 Elasticsearch-Exporter 索引迁移实战（验证ok）

[root@No3 elasticsearch-exporter]# node exporter.js -a 10.221.110.31-b 100.0.1.130 -p 9200 -q 9200 -i awppx -j awppx
同步最后会显示：
Number of calls: 169
Fetched Entries: 8064 documents
Processed Entries: 8064 documents
Source DB Size: 8064 documents

代表同步成功。
源ES版本1.6.0，目标ES版本：2.3.4，
验证发现：可以使用 Elasticsearch-Exporter跨机器、跨ES版本同步索引成功。

3、logstash定向索引迁移

[root@N3 bin]# cat ./logstash_output_mongo/logstash_es22es.conf
input {elasticsearch {hosts => [ "100.200.10.54:9200" ]index => "doc"size => 1000scroll => "5m"docinfo => truescan => true}
}filter {
json {source => "message"remove_field => ["message"]}mutate {# rename field from 'name' to 'browser_name'rename => { "_id" => "wid" }
}
}output {elasticsearch {hosts => [ "100.20.32.45:9200" ]document_type => "docxinfo"index => "docx"}stdout {codec => "dots"}}

4、小结
对比发现， Elasticsearch-Exporter在索引迁移方面相对更好用。（待深入研究补充）
而logstash定向索引用于辅助解决 Elasticsearch-Exporter不同版本迁移有Bug的情形。

来源:http://blog.csdn.net/laoyang360/article/details/65449407

Elasticsearch索引迁移的三种方式相关推荐

【创建索引的三种方式】
创建索引的三种方式第一种方式:在执行 CREATE 第二种方式:使用 ALTER TABLE 命令去增加索 ALTER TABLE table_name ADD INDEX index_name ( ...
创建索引的三种方式以及删除索引
1.第一种方式:在执行CREATE TABLE时创建索引 CREATE TABLE user_index( #建立主键索引并设置自增 id INT auto_increment PRIMARY KEY ...
win下配置的ES中的数据在哪里可以看到？三种方式你看那种更加高大上！！！（win_Elasticsearch）
在上一篇博客<使用logstash将Mysql中的数据导入到ElasticSearch中(详细步骤,win_Elasticsearch)>中我们提到将数据插入到es中,那我怎么知道数据是否 ...
数据导入HBase最常用的三种方式及实践分析
要使用Hadoop,数据合并至关重要,HBase应用甚广.一般而言,需要针对不同情景模式将现有的各种类型的数据库或数据文件中的数据转入至HBase中. 常见方式为:1.使用HBase的API中的Put ...
Docker的常用管理命令Docker将数据挂载到容器的三种方式
文章目录镜像管理命令容器管理常用命令 docker run常用参数 Docker run的其他参数 docker 创建容器命令容器资源限制 docker管理容器常用命令 docker将数据挂载到 ...
Python必学内容：格式化输出的三种方式
1. 格式化输出的三种方式在程序中,需要将输出信息打印成固定的格式,这时候就需要格式化输出. 1.1 占位符这种格式化输出方式与C语言中的类似,使用 %s 占位,再将后面%号后括号内的变量依次传给 ...
android xml解析的三种方式
2019独角兽企业重金招聘Python工程师标准>>> 在android开发中,经常用到去解析xml文件,常见的解析xml的方式有一下三种:SAX.Pull.Dom解析方式.最近做了 ...
图神经网络（一）图信号处理与图卷积神经网络（1）矩阵乘法的三种方式
图神经网络(一)图信号处理与图卷积神经网络(1)矩阵乘法的三种方式 1.1 矩阵乘法的三种方式参考文献图信号处理(Graph Signal Processing,GSP) 1是离散信号处理(D ...
Android之解析XML总结（SAX、Pull、Dom三种方式）
常见的解析xml的方式有一下三种:SAX.Pull.Dom解析方式.最近做了一个android版的CSDN阅读器,用到了其中的两种(sax,pull),今天对android解析xml的这三种方式进行一 ...

Elasticsearch索引迁移的三种方式