mysql数据迁移到es_实战ES跨版本数据迁移
描述:由于某种原因,我们现有机房需要关停,并且没有新的机房环境,只能使用阿里云Elasticsearch,而我们之前的ES版本比较老,阿里云Elasticsearch版本目前为6.3.2,版本跨度比较多,所以只能通过中间件的方式做一下数据转换,将老数据写入到kafka中,再通过logstash消费kafka中的数据写入到新的ES集群中。
老环境信息
ES集群1.5.2(5个节点)
192.168.100.132
192.168.100.138
192.168.100.142
192.168.100.145
192.168.100.146
logstash 2.4.1
192.168.100.138
kafka_2.11-1.1.0
192.168.100.138
logstash-6.3.2
192.168.100.117
192.168.100.118
192.168.100.119
迁移版本
1.5.2->6.3.2
迁移流程
迁移流程图
涉及软件版本
elasticsearch-1.5.2.noarch.rpm
kafka_2.11-1.1.0.tgz
logstash-2.4.1.noarch.rpm
logstash-6.3.2.rpm
注意事项
目前有一个情况是logstash-2.4.1可以向kafka_2.11-0.8.0写入数据,但是logstash-6.3.2无法读取低版本kafka_2.11-0.8.0中的数据,也就是无法进行消费,这是比较坑的。
logstash对kafka也有版本的兼容问题
https://www.elastic.co/guide/en/logstash/6.5/plugins-inputs-kafka.html
This plugin uses Kafka Client 2.0.0.
https://www.elastic.co/guide/en/logstash/6.3/plugins-inputs-kafka.html
This plugin uses Kafka Client 1.1.0
https://www.elastic.co/guide/en/logstash/5.0/plugins-inputs-kafka.html
This plugin uses Kafka Client 0.10.0.1
https://www.elastic.co/guide/en/logstash/2.4/plugins-inputs-kafka.html
This plugin uses Kafka Client 0.8.2.2
https://www.elastic.co/guide/en/logstash/2.3/plugins-inputs-kafka.html
注意:
```
Kafka Client Version Logstash Version Plugin Version Security Features Why?
kafka 0.8 对应 logstash 2.0.0 - 2.x.x<3.0.0 Legacy, 0.8 is still popular
kafka 0.9 对应 logstash 2.0.0 - 2.3.x 3.x.x Basic Auth, SSL
```
经实践使用logstash-2.4.1可以向kafka_2.11-1.1.0中写数据,logstash 6.3.2同时也可以消费kafka 1.1.0中的数据。
1.5.2版本集群上查询索引
查看所有索引
[root@linux]# curl -XGET http://192.168.100.138:9200/_cat/indices | awk '{print $3}'
查看某个索引信息
[root@linux]# curl -XGET http://192.168.100.138:9200/gdbmlogsinfo-2019-04/_settings,_mapping?pretty=true
-----------------分隔线-----------------
{
"gdbmlogsinfo-2019-04" : {
"settings" : {
"index" : {
"creation_date" : "1553014705773
mysql数据迁移到es_实战ES跨版本数据迁移相关推荐
- SQL Server 跨版本数据迁移实践
背景 在现代企业中,数据库是非常重要的一部分,它们存储着企业的核心数据.然而,数据库的版本和技术不断更新,企业需要及时升级和迁移数据库以保持其业务系统的可靠性和稳定性. 尽管对于某些业务系统来说,稳定 ...
- QQ空间迁移_【阿里云跨可用区迁移】
阿里云跨可用区迁移 2016-04-09 10:37:42 是. 第一步 迁移前准备工作,创建一个网络结构,安全规则一模一样的VPC网络 除可用区不一样,其他网段信息都一样. 安全组,以及安全组内的规 ...
- ajax跨域获取数据后处理,简单实现ajax获取跨域数据
本文实例为大家分享了ajax获取跨域数据的具体代码,供大家参考,具体内容如下 1.效果图 2.源码 function getData(keyword) { var url="https:// ...
- pytorch卷积神经网络_资源|卷积神经网络迁移学习pytorch实战推荐
点击上方"AI遇见机器学习",选择"星标"公众号 重磅干货,第一时间送达 一.资源简介 这次给大家推荐一篇关于卷积神经网络迁移学习的实战资料,卷积神经网络迁移学 ...
- 【Groovy】xml 序列化 ( 使用 StreamingMarkupBuilder 生成 xml 数据 | mkp.xmlDeclaration() 生成 xml 版本数据 )
文章目录 一.使用 StreamingMarkupBuilder 生成 xml 数据 二.mkp.xmlDeclaration() 生成 xml 版本数据 三.完整代码示例 一.使用 Streamin ...
- 【华为云主机迁移服务SMS,使用指南 (linux版本)】
文章目录 华为云主机迁移服务SMS,使用指南 (linux版本) 1.迁移前准备工作 1.1 必要条件 1.2 准备 (注意切换浏览器) 2.在源端(A服务器)安装Agent (linux版), 连接 ...
- centos7 mysql数据迁移_CentOS7中MySQL跨机器数据迁移
1.概况 在CentOS7环境下,使用命令方式将MySQL数据从源端主机迁移到目标端主机上. 2.迁移全部数据库 1)源端备份: [root@hadoop102 /]# mysqldump -u ro ...
- mysql同步数据到另一张表_mysql:Otter跨机房数据同步(单向)
重要说明:需要同步的表必须要有主键 主键 主键 otter是一款基于Java且免费.开源基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库的解决方案. Otter目前 ...
- Spring Boot实战解决高并发数据入库: Redis 缓存+MySQL 批量入库
前言 最近在做阅读类的业务,需要记录用户的PV,UV: 项目状况:前期尝试业务阶段: 特点: 快速实现(不需要做太重,满足初期推广运营即可) 快速投入市场去运营 收集用户的原始数据,三要素: 谁 在什 ...
最新文章
- Python常见问题(4):Python库与扩展 Library and Extension FAQ
- json - 如何在 flutter 中的List String中加入2 json值?
- C/C++语言宏定义##连接符和符#的使用
- 看完微软大神写的求平均值代码,我意识到自己还是 too young 了
- 软件工程软件产品质量要求与评价_软件工程定义
- VC++6.0 单步调试
- Docker安装稳定版及指定版本
- Win32++ Home Page
- 基于stm32的无线多点温度采集系统设计
- jquery蔚蓝网总结三个页面
- MySQL Audit 审计
- AID数据集的均值和方差
- the OCD JTAG adapter was detected ,but there is...
- 运放自激震荡的大杂烩总结
- 年薪二十、三十、四十万的Java程序员的生活现状
- 乐鑫esp8266学习rtos3.0笔记:仅1M flash 的安信可 ESP-01S 模块,如何二次开发?如何对其 OTA 远程升级固件!
- vue中如何优雅实现爷孙组件的数据通信($attrs/$listeners)
- 【IO】Java 中的 BIO、NIO、AIO
- 如何在互联网公司求职成功
- http://blog.csdn.net/guolin_blog/article/details/17482095/
热门文章
- PAT乙级 1003
- 基础知识—函数-函数参数及返回值
- android listview的理解,Android ListView的理解
- word表格转换成html,delphi将word表格转换成html_取得Word 表格中的数据
- 2021 Gartner云数据库魔力象限,阿里云、华为云成国内唯二
- SQL优化:你真的知道国家字符集的性能影响吗?
- Tensorflow保存神经网络参数有妙招:Saver和Restore
- 一分钟带你了解Huawei LiteOS组件开发指南
- THOR:MindSpore 自研高阶优化器源码分析和实践应用
- 一文带你解读Volcano架构设计与原理