一、前言

在生产系统中，经常可能面临的一个状况就是，随着实际业务发生变更，现有的数据模型可能需要调整，而且到了必须调整不可的时候，那就只能硬着头皮做了；

数据模型的调整，说的大一点，可能是某一个业务模块整个设计需要推翻重来，或者涉及到其中局部关键模块的调整，比如数据表，数据库，或者大数据推荐模型的某个指标算法等；

现实中，诸如此类的场景不一而足，需要视情况而定，本篇分享一个小编在实际业务中碰到的一个场景，需要调整es索引的mapping结构，以及于此带来的数据迁移相关的问题。

二、问题来源

2.1 问题背景

生产系统中，某一块关于日志的业务数据采用es纯粹，其中某个字段采用了分词，以便于界面上多维度的关键字检索，其中涉及到的es索引中相关字段类比如下：

PUT /my_index1
{"mappings": {"properties": {"id": {"type": "integer"},"name": {"type": "text","index": false},"address": {"type": "text","index"

springboot 实现elasticsearch索引数据迁移相关推荐

python将ElasticSearch索引数据读入pandas dataframe实战
python将ElasticSearch索引数据读入pandas dataframe实战 # 导入基础包和库 import pandas as pdpd.set_option('display.max ...
ES索引数据迁移 _reindex
索引数据迁移集群内部索引迁移,从一个索引迁移数据到另一个索引里 1. 创建新索引新索引与就索引结构保持一致通过就索引_mapping _setting 获取配置和结构信息然后创建新索引需要注 ...
ElasticSearch:Reindex数据迁移使用
一.前言 ES在创建好索引后,mapping的properties属性类型是不能更改的,只能添加.如果说需要修改字段就需要重新建立索引然后把旧数据导到新索引. 二.Reindex 5.X版本后新增_r ...
【数据篇】SpringBoot 整合 Elasticsearch 实践数据搜索引擎
写在最前 Elasticsearch 入门必读 Docker安装ELK Spring Data Elasticsearch 参考文档版本选择 Spring Data Release Train Sp ...
Elasticsearch 索引数据多了怎么办，如何调优，部署？
1 动态索引层面基于模板+时间+rollover api滚动创建索引,举例:设计阶段定义:blog索引的模板格式为:blog_index_时间戳的形式,每天递增数据.这样做的好处:不至于数据量激增导 ...
ElasticSearch 索引设计指南
作者介绍许睿哲 2020年12月加入去哪儿网-数据平台团队,目前主要负责公司的 esaas 云服务与实时日志 ELK 平台的开发.维护与优化.主导参与了公司的 ES 架构升级迁移与 ES 平台 SL ...
在线数据迁移，数字化时代的必修课——京东云数据迁移实践
打破数据边界,是数字化时代常挂在嘴边的一句话,数据的价值是在流动中体现的,数据应用也是如此.以往为了满足开发.测试.数据保护容灾和数据分析的需要,我们不断对数据进行复制.备份.迁移,因此数据迁移非常重 ...
干货 | Elasticsearch 索引生命周期管理 ILM 实战指南
1.什么是索引生命周期? 关于人生,有人这么说:"人,生来一个人,死去一个人,所以,人生就是一个人生老病死的简称." 在基于日志.指标.实时时间序列的大型系统中,集群的索引也具备类 ...
【elasticsearch】ES数据库重建索引 -- Reindex(数据迁移)
1.应用背景: 1.当你的数据量过大,而你的索引最初创建的分片数量不足,导致数据入库较慢的情况,此时需要扩大分片的数量,此时可以尝试使用Reindex. 2.当数据的mapping需要修改,但是大量的 ...

springboot 实现elasticsearch索引数据迁移

一、前言

二、问题来源

2.1 问题背景

springboot 实现elasticsearch索引数据迁移相关推荐

最新文章

热门文章