elasticsearch（ES）日志迁移

===============================================

2018/7/29_第1次修改 ccb_warlock

===============================================

elasticsearch（ES）作为ELK的一部分，经常用于日志记录与统计。最近遇到需要迁移日志从旧环境到新环境，试验后发现elasticdump可以实现这个数据同步的部分（可以实现不同版本的ES数据同步）。

elasticdump虽然迁移数据的速度不算快，但是可以根据索引和数据单独进行同步。

一、前提条件

旧ES的IP：192.168.12.1，新ES的IP：192.168.12.2

二、安装elasticdump

# 获取epel包

yum install -y wget
cd
wget http://mirrors.ustc.edu.cn/epel/7/x86_64/Packages/e/epel-release-7-11.noarch.rpm

# 安装epel

rpm -ivh epel-release-7-11.noarch.rpm

# 安装nodejs

yum install -y nodejs

# 安装elasticdump（当前最新3.3.18）

npm install elasticdump

# 创建elasticdump的软连接

ln -s /root/node_modules/elasticdump/bin/elasticdump  /usr/bin/elasticdump

# 检查安装的版本

elasticdump --help

三、迁移

# 将旧的ES的匹配nginxlog的索引信息导入到本地/root/nginx-map.json文件内

elasticdump --input http://192.168.12.1:9200/nginxlog* --output /root/nginx-map.json --type=mapping

# 将旧的ES的匹配nginxlog的数据信息导入到本地/root/nginx-data.json文件内

elasticdump --input http://192.168.12.1:9200/nginxlog* --output /root/nginx-data.json --type=data

# 将旧的ES的所有日志（索引、数据）导入到新的ES內

elasticdump --input http://192.168.12.1:9200/ --output http://192.168.12.2:9200/ --all=true

参考资料：

1. https://www.npmjs.com/package/elasticdump

2. https://blog.csdn.net/u014017121/article/details/52160394

3. https://www.cnblogs.com/SapphireCastle/p/6395141.html

转载于:https://www.cnblogs.com/straycats/p/9388368.html

elasticsearch（ES）日志迁移相关推荐

Elasticsearch教程-从入门到精通-ES索引迁移
一.关于搜索引擎各位知道,搜索程序一般由索引链及搜索组件组成. 索引链功能的实现需要按照几个独立的步骤依次完成:检索原始内容.根据原始内容来创建对应的文档.对创建的文档进行索引. 搜索组件用于接收用 ...
elasticsearch存储目录迁移
操作步骤如下:(所有节点一个一个操作) 1.先停止elasticsearch服务 systemctl stop elasticsearch.service 2.创建数据存储的新目录 mkdir /da ...
完美避坑！记一次Elasticsearch集群迁移架构实战
作者介绍李猛(ynuosoft),Elastic-stack产品深度用户,ES认证工程师,2012年接触Elasticsearch,对Elastic-Stack开发.架构.运维等方面有深入体验,实践 ...
filebeat + es 日志分析
官网下载filebeat 下载及介绍,略.注意,保持fielbeat和es的版本一致,否则可能会报错. 配置filebeat.yml 主要是: 日志文件路径单条日志多行合并 kibana和es连接 ...
11-2 logpilot+elasticsearch+kibana日志实践
11-2 logpilot+elasticsearch+kibana日志实践先搭建基础服务 es kibana log-pilot elasticsearch.yaml --- apiVersion ...
【转】Filebeat+Kafka+Logstash+ElasticSearch+Kibana 日志采集方案
前言 Elastic Stack 提供 Beats 和 Logstash 套件来采集任何来源.任何格式的数据.其实Beats 和 Logstash的功能差不多,都能够与 Elasticsearch 产 ...
Elasticsearch(ES)的下载与安装
Elasticsearch(ES)的下载与安装 1.安装 Java 在安装 Elasticsearch 之前,我们需要安装并配置好 JDK, 设置好环境变量 $JAVA_HOME. Elasticse ...
ElasticSearch -- ES 7.x 集群版安装部署
向导 1. ElasticSearch 1.下载 2.配置 3.查看启动状态 4.注册宕机.开机自启 5.如果磁盘是SSD,建议修改IO调度算法 6.SSD磁盘,关闭numa绑核.hugepage 2 ...
用ElasticSearch存储日志
介绍如果你使用elasticsearch来存储你的日志,本文给你提供一些做法和建议. 如果你想从多台主机向elasticsearch汇集日志,你有以下多种选择: Graylog2 安装在一台中心机上 ...
用Grafana为Elasticsearch做日志分析
用Grafana为Elasticsearch做日志分析作者:chszs,未经博主允许不得转载.经许可的转载需注明作者和博客主页:http://blog.csdn.net/chszs Grafana是 ...

elasticsearch（ES）日志迁移

elasticsearch（ES）日志迁移相关推荐

最新文章

热门文章