【开源项目】mysql大表数据迁移

2024-06-21 02:56:13

历史数据迁移

项目地址：https://gitee.com/xl-echo/dataMigration

历史迁移解决方案。微服务的架构为基础，使用多种设计模式，如：单利、桥接、工厂、模板、策略等。其中涉及的核心技术有，多线程、过滤器等。致力于解决mysql大表迁移的问题。提供多种迁移模式，如：库到库、库到文件再到库等！
Historical migration solution. Based on the architecture of microservices, multiple design patterns are used, such as simple interest, bridge, factory, template, strategy, etc. The core technologies involved include multithreading, filters, etc. It is committed to solving the problem of MySQL large table migration. Provide multiple migration modes, such as library to library, library to file, and then to library

开发环境

工具	版本	描述
IDEA	2019.2
JDK	1.8
MySQL	5.7	5.7 +

技术框架

技术	描述	用途	备注
SpringBoot	基础框架	构建系统架构
MyBatis	ORM框架	构建数据层
JDBC	构建外部数据源	用于配置迁移
Maven	项目管理	项目管理
ExecutorService	线程池	分批执行任务
Bloom Filter	布隆过滤器	校验数据是否一致

功能模块

设计模式

桥接
单例
工厂
模板
策略

迁移逻辑图解

【开源项目】mysql大表数据迁移相关推荐

mysql大表数据抽取_从云数据迁移服务看MySQL大表抽取模式
摘要:MySQL JDBC抽取到底应该采用什么样的方式,且听小编给你娓娓道来. 小编最近在云上的一个迁移项目中被MySQL抽取模式折磨的很惨.一开始爆内存被客户怼,再后来迁移效率低下再被怼.MySQL ...
MySQL大表历史数据迁移这么做
历史数据迁移项目地址:https://gitee.com/xl-echo/dataMigration 历史迁移解决方案.微服务的架构为基础,使用多种设计模式,如:单利.桥接.工厂.模板.策略等.其中 ...
Mysql大表数据清理
假设大表表名:t_log delete操作会记录mysql日志,大数据量的清理会耗费大量时间,所以一般得用其他方式. 1.如果大表数据对我们来说不重要,完全可以直接清理,那么可以用truncate t ...
MYSQL 到MYSQL 分表数据迁移
一背景通常情况下,还是做业务需求为主,很少会遇到迁移数据的机会,之前做的迁移<MYSQL数据库单表亿级数据不停机迁移_bohu83的博客-CSDN博客_mysql亿级数据迁移> 业务 ...
Mysql大表数据清理方案
需求:表t_user_login_log中存储了上千条数据,我们需要对该表做数据清理,只保留近三个月的数据. 方案一数据量<1000条时推荐使用 DELETE方法推荐力度:极不推荐是否会影 ...
delete mysql 大表_无语了，直到今天，我才揪出MySQL磁盘消耗迅猛的“真凶”！
作者:dbapower 链接:https://blog.51cto.com/suifu/2135599 背景 Part1:写在最前当一张单表10亿数据量的表放在你面前,你将面临着什么? Part2: ...
从云数据迁移服务看MySQL大表抽取模式
摘要:MySQL JDBC抽取到底应该采用什么样的方式,且听小编给你娓娓道来. 小编最近在云上的一个迁移项目中被MySQL抽取模式折磨的很惨.一开始爆内存被客户怼,再后来迁移效率低下再被怼.MySQL ...
MySQL快速清空大表数据(truncate table table_name；)
MySQL快速清空大表数据项目初次上线,进行性能测试造的数据量巨大,都是些不可用数据,但又有一些是必须保留的,很多时候需要进行系统性的清理数据或者是,将有用的数据筛选出来之后再插入到表中!保留表结构 ...
mysql大表迁移_MySQL 大表迁移
一.需求分析线上100G 大表 table1 迁移,从DB1 迁移到DB2. 二.环境要求: 1.MySQL 使用InnoDB 存储引擎,且开启独立表空间: 2.两个库的MySQL版本一致(未做不同 ...

最新文章

热门文章