搭建测试3节点ES集群，官网下载所需的版本进行解压运行，ECS与阿里云ES在同一地域可用区，并在相同的VPC内。

# mkdir /usr/java
# tar xvf jdk-8u162-linux-x64.tar.gz -C /usr/java/
# tar xvf logstash-5.5.3.tar.gz -C /srv/
# tar xvf kibana-5.4.3-linux-x86_64.tar.gz -C /srv
# tar xvf elasticsearch-5.4.3.tar.gz -C /srv/
# cat /etc/profile.d/elk.sh
export JAVA_HOME=/usr/java/jdk1.8.0_162/
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:/srv/elasticsearch-5.4.3/bin
export PATH=$PATH:/srv/logstash-5.5.3/bin
export PATH=$PATH:/srv/kibana-5.4.3-linux-x86_64/bin
# nohup kibana -c /srv/kibana-5.4.3-linux-x86_64/config/kibana.yml &
# nohup elasticsearch &
# cat /srv/kibana-5.4.3-linux-x86_64/config/kibana.yml
server.name: "kibana_test"
server.port: 9070   #监听端口
server.host: "192.168.0.80"  #监听端口
elasticsearch.url: "http://es1:9007"
logging.dest: /srv/logs/kibana/kibana.logxpack.security.enabled: false

ES配置文件说明，重要配置修改

# cat /srv/elasticsearch-5.4.3/config/elasticsearch.yml
cluster.name: robin_test    #集群名称，默认叫elasticsearch
node.name: es1              #节点名称，若不指定，每次启动时会随机分配一个
node.master: true           #是否有选举为主节点的资格，主节点可以控制整个集群
node.data: false            #是否设置为数据节点，数据节点保存数据并执行增删改查，搜索聚合
node.ingest: false          #是否为摄取节点，可以执行由一个或多个摄取处理器组成的预处理管道
path:data:                   #默认将插件、日志以及数据配置在安装目录，建议拆分- /srv/data/elasticsearch//0/- /srv/data/elasticsearch//1/logs: /srv/logs/elasticsearch/
http:host: es1port: 9007
network.host: es1
transport.tcp.port: 9002
discovery.zen.minimum_master_nodes: 2 #需要多少个node选举通过才能当上master，应设置为master候选节点的法定个数（(master候选节点个数/2)+1）。
gateway:recover_after_nodes: 2   #至少要有几个节点在线，集群才可用expected_nodes: 2        #集群正常情况下应该存活的节点个数recover_after_time: 1m   #等待多长时间后才进行数据恢复
discovery.zen.ping:unicast.hosts: ['es1:9002','es2:9002','es3:9002']#单播列表，至少列出集群中一部分节点，当一个节点联系到列表中的成员时，可以获得整个集群所有节点的状态，然后它会联系master节点，并加入集群thread_pool:bulk:size: 3queue_size: 300index:size: 3queue_size: 300bootstrap:memory_lock : true  #避免系统swapping来提高性能system_call_filter: false #Centos6不支持SecComp，设置为false，不进行检测
action.destructive_requires_name: true #在删除索引时是否指定索引名称，设置为true禁止允许通过通配符或_all删除索引
indices:fielddata.cache.size: 40%  #设置fielddata缓存的最大大小，Fielddata cache主要用于字段（field）的排序和聚合。Elasticsearch使用Fielddata和Filter两种主要类型的缓存来更快地提供搜索请求 breaker.total.limit: 70%  #通过设置parent-level breaker指定所有breaker可以使用的内存总量，默认为JVM堆的70%。Elasticsearch包含多个断路器，用于防止操作引起的OutOfMemoryError。breaker.request.limit: 60% #阻止每个请求数据结构超过一定数量的内存，默认为JVM堆的60%store.throttle.max_bytes_per_sec: 500mb #存储节流限制，默认为20mb.recovery.max_bytes_per_sec: 20mb #从0.90.1版开始,默认为20mb.monitor.jvm.gc.overhead:warn: 60info: 50debug: 40cluster.routing.allocation:node_concurrent_recoveries: 1  #允许在一个节点上发生多少次并发恢复。默认为2cluster_concurrent_rebalance: 1 #允许集群范围内分片并发重平衡的数量，默认为2

使用logstash同步同步单个index

# cat index2index.conf
input {elasticsearch {hosts => ["es1:9007"]         #老ES集群访问地址index => "messages-20180401"  #需要同步的索引名称size => 1000scroll => "1m"codec => "json"docinfo => true}
}output {elasticsearch {hosts => ["es-id.elasticsearch.aliyuncs.com:9200"] #阿里云ES访问地址user => "elastic"         #默认为 elasticpassword => "123456789"   #购买阿里云ES界面中指定的密码，或初始化 Kibana 时指定的密码index => "messages-20180401"  #在新ES集群中的索引名}stdout { codec => rubydebug { metadata => true } }}
# logstash -f index2index.conf

在目标的elasticsearch中看到已经同步的index

使用Shell脚本同步单个index

# cat sync.sh
#!/bin/bash
# file:reindex.sh
indexName="sync"           #需要同步的索引名称
newClusterUser="elastic"   #默认为 elastic
newClusterPass="123456789" #购买阿里云ES界面中指定的密码，或初始化 Kibana 时指定的密码
newClusterHost="es-id.elasticsearch.aliyuncs.com:9200" #阿里云ES访问地址
oldClusterHost="http://192.168.0.79:9007"  #老ES集群访问地址
curl -u ${newClusterUser}:${newClusterPass} -XPOST "http://${newClusterHost}/_reindex?pretty" -H "Content-Type: application/json" -d'{"source": {"remote": {"host": "'${oldClusterHost}'"},"index": "'${indexName}'","query": {"match_all": {}}},"dest": {"index": "'${indexName}'"}
}'
执行成功返回
# sh sync.sh
{"took" : 418,"timed_out" : false,"total" : 151,"updated" : 151,"created" : 0,"deleted" : 0,"batches" : 1,"version_conflicts" : 0,"noops" : 0,"retries" : {"bulk" : 0,"search" : 0},"throttled_millis" : 0,"requests_per_second" : -1.0,"throttled_until_millis" : 0,"failures" : [ ]
}

TIPS

ES启动报错

[2018-04-08T11:39:20,428][ERROR][o.e.b.Bootstrap          ] Exception
java.lang.RuntimeException: can not run elasticsearch as root  #需要新建非roo用户启动进程
[2018-04-08T11:40:46,187][ERROR][o.e.b.Bootstrap          ] [es1] node validation exception
[1] bootstrap checks failed
[1]: max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]  # 最大文件描述符受限

调整最大文件打开数和最大进程数限制

$ tail /etc/security/limits.conf
root hard nofile 65535
* soft nofile 65535
* hard nofile 65535
* soft memlock unlimited
* hard memlock unlimited
search  soft  nofile  65536
search  hard  nofile  65536
search  soft  nproc  2048
search  hard  nproc  2048

执行同步脚本报错

{"error" : {"root_cause" : [{"type" : "illegal_argument_exception","reason" : "[192.168.0.79:9001] not whitelisted in reindex.remote.whitelist"}],"type" : "illegal_argument_exception","reason" : "[192.168.0.79:9001] not whitelisted in reindex.remote.whitelist"},"status" : 400
}

由于通过IP + Port访问老集群，必须在新集群的yml中配置 reindex 白名单

执行同步脚本报错

{"error" : {"root_cause" : [{"type" : "connect_exception","reason" : null}],"type" : "connect_exception","reason" : null},"status" : 500
}

同时需要在ECS所属的安全组放行公网入方向访问自建ES集群的端口，reindex 是阿里云ES访问自建ES。即使自建ES与阿里云ES在同一地域，ECS上测试访问阿里云ES并不能保证阿里云的ES能访问到自建ES