【云上ELK系列】Logstash迁移Elasticsearch数据方法解读
Elasticsearch中数据搬迁是工程师们经常会做的,有时是为了集群迁移、有时是为了数据备份、有时是为了升级等等,迁移的方式也有很多种,比如说通过elasticsearch-dump、通过snapshot、甚至是通过reindex的方式来做。今天为大家介绍另一种方案:用Logstash实现Elasticsearch集群快速迁移
我们希望通过logstash来做数据迁移本身的原理很容易理解,通过logstash从源elasticsearch Cluster读数据,写入到目标elasticsearh
Cluster中,详细操作如下:
在logstash的目录下创建一个logstash的用于数据同步的conf文件
vim ./logstash-5.5.3/es-es.conf
配置conf文件,由于我们只需要做index搬迁,所以目标Cluster和源Cluster的index命名相同即可。
input {elasticsearch {hosts => ["********your host**********"]user => "*******"password => "*********"index => "logstash-2017.11.07"size => 1000scroll => "1m"}
}
# 该部分被注释,表示filter是可选的
filter {
}
output {elasticsearch {hosts => ["***********your host**************"]user => "********"password => "**********"index => "logstash-2017.11.07"}
}
conf文件配置完成后执行logstash
bin/logstash -f es-es.conf
执行这句指令时,有时会遇到如下的报错信息
[FATAL][logstash.runner] Logstash could not be started because there is already another instance using the configured data directory. If you wish to run multiple instances, you must change the "path.data" setting.
这是因为当前的logstash版本不支持多个instance共享一个path.data,所以需要在启动时,命令行里增加"--path.data PATH ",为不同实例指定不同的路径
bin/logstash -f es-es.conf --path.data ./logs/
如果执行顺利,执行下面这个命令就可以在目标的elasticsearch中看到对应的index
curl -u username:password host:port/_cat/indices
以上介绍了如何通过logstash来迁移elasticsearch中指定的index,下面介绍一个实用的场景:
**很多自建了Elasticsearch客户最近都会关注到阿里云Elasticsearch这款产品。想要使用时却遇到了一个如何把自建中的数据迁移到阿里云Elasticsearch的困惑。下面介绍一下如何通过logstash快速的搬迁云上自建的Elasticsearch中的index数据。
**
这个方案的逻辑很简单,拆解开就是配置N个es-to-es的conf文件,但这样做很繁琐。其实logstash提供了批量做这件事情的能力,为此需要提前介绍三个重要概念:
- metadata:logstash 1.5版本之后,使用了metadata的概念,来描述一次event,并且允许被用户修改,但是不会写到event的结果中,对event的结果产生影响。除此之外,metadata将作为event的元数据描述信息,可以在input、filter、output三种插件的全执行周期内存活;
参考文档《Make Your Config Cleaner and your Log Processing Faster with Logstash Metadata》
- docinfo:elasticsearch input插件中的一个参数,默认是false,官网上描述的原文是“If set, include Elasticsearch document information such as index, type, and the id in the event.”也就意味着设置了这个字段生效,会将index、type、id等信息全部记录到event中去,也就是metadata中去,这也就意味着可以在整个event执行周期内,使用者可以随意的使用index、type、id这些参数了;
- elasticsearch input插件中的index参数,支持通配符,可以用“*”这样的模糊匹配通配符来表示所有对象;
由于metadata的特性,我们可以在output中直接“继承”input中的index、type信息,并在目标Cluster中直接创建和源Cluster一摸一样的index和type,甚至是id。
在整个过程中如果希望可以看到metadata信息,并且对其进行类debug的操作,需要在output中添加一个配置:
stdout { codec => rubydebug { metadata => true } }
示例配置代码如下:
input {elasticsearch {hosts => ["yourhost"]user => "**********"password => "*********"index => "*"#该通配符代表需要读取所有index信息size => 1000scroll => "1m"codec => "json"docinfo => true}
}
# 该部分被注释,表示filter是可选的
filter {
}output {elasticsearch {hosts => ["yourhost"]user => "********"password => "********"index => "%{[@metadata][_index]}"}stdout { codec => rubydebug { metadata => true } }}
执行后,logstash会将源Cluster中所有的index全部copy到目标Cluster中去,并将mapping信息携带过去,随后开始逐步做index内的数据迁移。
建议:正式执行的时候
stdout { codec => rubydebug { metadata => true } }
这个配置项建议去掉,否则会被满屏的刷metadata信息。
加入钉钉技术讨论群
阿里云Elasticsearch已正式发布啦,阿里云携手Elastic开源官方联合开发,集成5.5.3商业版本X-Pack功能,欢迎开通使用。
点击了解更多产品信息
【云上ELK系列】Logstash迁移Elasticsearch数据方法解读相关推荐
- “云上贵州”大赛完整诠释大数据三大业态
2016中国国际电子信息创客大赛暨"云上贵州"大数据商业模式大赛,总决赛暨颁奖典礼在贵阳举行.21个项目角逐"云上贵州"系列奖项,500万奖金的归宿尘埃落定. ...
- 基于云上分布式NoSQL的海量气象数据存储和查询方案
前言 气象数据是一类典型的大数据,具有数据量大.时效性高.数据种类丰富等特点.气象数据中大量的数据是时空数据,记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量,每天产生的数据量常在几十TB到 ...
- 使用logstash迁移es数据
推荐阅读 Helm3(K8S 资源对象管理工具)视频教程:https://edu.csdn.net/course/detail/32506 Helm3(K8S 资源对象管理工具)博客专栏:https: ...
- ELK 系列九、elasticsearch扩容(从单机至单机伪集群)
目录 一.简介 二.升级操作 2.1 es配置 2.2 logstash设置 2.3 守护进程配置 2.4 查看结果 一.简介 单机伪集群是什么概念呢,就是同一台服务器有多个es节点 先介绍一下,原先 ...
- logstash读取Elasticsearch数据保存为json,logstash接收log数据写入kafka生产者
[提前声明] 文章由作者:张耀峰 结合自己生产中的使用经验整理,最终形成简单易懂的文章 写作不易,转载请注明,谢谢! 代码案例地址: ?https://github.com/Mydreamandrea ...
- ELK技术栈(四) elasticsearch 数据聚合 数据同步
目录 一.数据聚合 1.Bucket聚合 2.Metries聚合 3.自动补全 二.数据同步 1.同步通知 2.异步通知 3.binlog监听 4.小结 5.案例:基于MQ实现数据同步 一.数据聚合 ...
- 华为云上可订阅F5_F5亮相华为云计算大会 解读云应用交付
全球领先的应用交付网络厂商F5 Networks, Inc.(NASDAQ: FFIV)在下周于上海召开的2012华为云计算大会上向用户呈现其面向云计算的应用交付解决方案.在本次活动中,F5将重点为用 ...
- nova7默认html怎么改,华为nova7怎么恢复出厂设置?nova7系列恢复出厂清空数据方法...
对于一款系统有点小问题的智能手机来说,恢复出厂设置还是一种非常有效的解决方法的.如果你使用的华为nova7系列手机系统出现了问题或者设置之后不知道如何恢复原始状态了,我们可以恢复出厂设置一次来解决,那 ...
- css规则可以放在云上,CSS中!important规则的使用方法
CSS中!important规则的使用方法 发布时间:2020-06-15 10:53:11 来源:亿速云 阅读:129 作者:Leah 这期内容当中小编将会给大家带来有关CSS中!important ...
最新文章
- yii2服务器无法加载文件,yii2查看服务器500错误的方法
- 几个常用的流量统计工具比较
- 我的世界:一个村落(其一)
- java maven mvn clean package 打包执行流程
- 机器视觉资料汇总(2)
- attribute关键字
- 酒鬼随机漫步(一个矢量类)
- HTML中放置CSS的三种方式和CSS选择器
- jmeter的java请求参数设置_Jmeter中json数据参数化、断言设置
- 如何在Unity项目中添加语音识别?
- 算法学习——枚举之最简真分数
- centos7 split 切割文件_CentOS 大文件夹按固定块大小分割打包实验
- UE4 自定义DLC Pak加载
- ArcGIS 矢量编辑札记(一):Field Calculator 篇
- # 慢东周记(第 1 期):【本周话题】真正的投资者应该是寻找到长期、稳定、持续的正期望收益机会且重仓
- hdu 3535 AreYouBusy 经典混合背包
- 做程序员10年有感,程序员必须要懂的---转自java诺曼底_kleen
- java 匿名类_浅谈Java的匿名类
- Swig/CPP2Java
- google 天气免费api