【原】阿里云RDS数据库超大表分区实现

[背景]

一张数据量约1亿条数据的表，由于最初设计疏忽，未做分区，现需要根据创建时间字段来做分区；
业务要求，该表仅需要保留3个月的数据，数据量在9千万~1亿3千万左右；
业务允许短时间停机，10分钟左右；
该表数据，仅最近14天左右数据会有更新操作，其余数据为统计查询；
原表创建时间用的timestamp，无法作为分区字段；
ID为主键；

[RDS信息]

数据库类型:MySQL 5.6；
CPU:8核；
最大连接数:8000；
最大IOPS:12000；

[解决思路]

创建新的分区表，与原表保持同样的结构，将创建时间类型改为datetime；
分批写入历史数据，每次1000万，大约7分钟时间；（查出最近14天会更新的最小ID，这批数据停机插入！）
停机插入最后的14天数据；
Rename表，重启服务；

insert my_table_temp
select *from my_tablewhere id>= 150000000and id< 160000000;

RENAME TABLE my_table TO my_table_to_delete;
RENAME TABLE my_table_temp TO my_table ;
DROP TABLE my_table_to_delete;

[总结]

这种方案还是有些限制的，比如能段时间停服务，且有明确历史数据不会更新，否则可能需要添加trigger来解决了。

【版权申明】未经博主同意，谢绝转载！（请尊重原创，博主保留追究权）
https://www.cnblogs.com/cooqer/p/9139873.html
出自【Cooqer的博客】

转载于:https://www.cnblogs.com/cooqer/p/9139873.html

【原】阿里云RDS数据库超大表分区实现相关推荐

问题：阿里云RDS数据库Binlog日志一直增大，撑爆磁盘
问题:阿里云RDS数据库Binlog日志一直增大,撑爆磁盘最后结果,是因为MySQL语句问题,没有where的条件下,导致更新操作没有开启安全模式,需要开启sql更改安全模式,禁止没有where的 ...
mysql阿里云RDS数据库从库搭建
概述本文主要讲解阿里云RDS数据库的从库搭建,虽然RDS数据库自带一个备库,但是自己手里没有,总觉得不安全. 搭建过程 1. 所需环境 ①一个固定IP的LINUX服务器(windows没试过),无论 ...
java rds 数据库_JDBC（java数据库连接）和阿里云RDS数据库
这两天挖洞的时候,拿到了一个配置生产环境的源码,看一下就能看出来是配置首先给大家看下源码: 因为我暂时还没有学过java,所以刚看到这个,就没有这个概念,只以为是配置个首先我们来了解下JDBC:J ...
【数据库取证篇】阿里云RDS数据库简介
[数据库取证篇]阿里云RDS数据库简介初识RDS基本信息,知其然,再知其所以然-[suy] 文章目录 [数据库取证篇]阿里云RDS数据库简介 (一)云数据库RDS简介 1.各版本功能 (二)RD ...
SpringBoot 中连接阿里云rds数据库
今天首次碰到在SpringBoot中使用阿里云rds数据库,搜索一了一番资料,最后成功实现.然后在这里做下自我总结.(个人用到是SSH方式进行连接) 1.在pom文件中添加jar包依赖 <dep ...
云产品学习之路(阿里云01)阿里云rds数据库导出
参考文档:阿里云rds数据库导出到windows本地数据库中 1.进入阿里云rds控制台,选择实例列表进入rds实例 2.进入备份恢复,选择全量备份下载
阿里云RDS数据库如何远程访问
阿里云RDS数据库如何远程访问 1.找到对应的数据库实例, 点击管理,进入管理页面点击数据安全性选择添加白名单将本地IP地址加进去,如果不知道可百度"IP". 3.添加安全组 ...
使用sqlyog连接阿里云rds数据库
使用sqlyog连接阿里云rds数据库查看rds云数据库的外网地址查看本机ip地址配置白名单填写上本机的ip然后点击确认设置数据库的账号和密码建议设置成普通账号普通账号记得配置权限使用 ...
阿里云RDS数据库外网连接和内网连接有什么不同？
内网就是云上环境访问速度快没有费用公网就是可以飞云上环境访问速度不一定有费用通过外网和内网均可访问阿里云 RDS 数据库.使用外网时,阿里云 RDS 数据库的连接带宽会受到限制.建议还是通 ...

【原】阿里云RDS数据库超大表分区实现

【原】阿里云RDS数据库超大表分区实现相关推荐

最新文章

热门文章