千万级、百万级数据删除优化

场景：

在mysql上面删除大量数据（千万级），由于不是清空数据，故不能使用TRUNCATE 语句（有个TRUNCATE可参考：MySQL DELETE语句与TRUNCATE TABLE语句）

问题：

在正常DELETE下，删除十分缓慢；
由于索引的原因，每次删除都要相应的更新索引，越往后索引碎片越多，即越往后越慢

解决方案：

完整备份；
保存索引DDL，删除索引，删除速率与索引量成正比；保存索引DDL，删除索引，删除速率与索引量成正比；
关闭日志记录；
删除后重建索引

TIP： 如果需要保留的数据比较少的话，可以把要保留的数据备份出来。DROP原表，重新创建，先不要急着创建索引、主键，把数据导回去，然后在建索引、约束之类的。

千万级、百万级数据删除优化相关推荐

python处理千万级数据_Python批量删除mysql中千万级大量数据的脚本分享
场景描述线上Mysql数据库里面有张表保存有每天的统计结果,每天有1千多万条,这是我们意想不到的,统计结果咋有这么多.运维找过来,磁盘占了200G,最后问了运营,可以只保留最近3天的,前面的数据,只 ...
MySQL线上优化_线上MySQL千万级大表，如何优化？
前段时间应急群有客服反馈,会员管理功能无法按到店时间.到店次数.消费金额进行排序.经过排查发现是 SQL 执行效率低,并且索引效率低下. 图片来自 Pexels 应急问题商户反馈会员管理功能无法按到 ...
MySQL大表关联如何优化_MySQL 对于大表（千万级），要怎么优化呢?
http://www.zhihu.com/question/19719997 提问:如何设计或优化千万级别的大表?此外无其他信息,个人觉得这个话题有点范,就只好简单说下该如何做,对于一个存储设计,必须 ...
爱奇艺视频千万级生产 Kubernetes 集群优化实践！
本文介绍爱奇艺针对视频生产场景.在 Kubernetes(以下简称 K8s) 集群优化方面的实践:如何使高优先级任务获得更多的 CPU 资源,更快完成任务. 01 背景视频生产集群所面临的一个 ...
python查询千万级数据_Python批量删除mysql中千万级大量数据
场景描述线上mysql数据库里面有张表保存有每天的统计结果,每天有1千多万条,这是我们意想不到的,统计结果咋有这么多.运维找过来,磁盘占了200g,最后问了运营,可以只保留最近3天的,前面的数据,只 ...
如何优化MySQL千万级大表
很好的一篇博客,转载如何优化MySQL千万级大表原文链接::https://blog.csdn.net/yangjianrong1985/article/details/102675334 千万级 ...
来个硬货——长文解读：基于业务场景的MySQL千万级大表优化
千万级大表如何优化,这是一个很有技术含量的问题,通常我们的直觉思维都会跳转到拆分或者数据分区,在此我想做一些补充和梳理,想和大家做一些这方面的经验总结,也欢迎大家提出建议. 从一开始脑海里开始也是火光 ...
排序千万级数据_MySQL 对于千万级的大表要怎么优化？我写了6000字的深度解读...
千万级大表如何优化,这是一个很有技术含量的问题,通常我们的直觉思维都会跳转到拆分或者数据分区,在此我想做一些补充和梳理,想和大家做一些这方面的经验总结,也欢迎大家提出建议. 从一开始脑海里开始也是火光 ...
mysql大于等于怎么写_MySQL 对于千万级的大表要怎么优化？我写了6000字的深度解读...
千万级大表如何优化,这是一个很有技术含量的问题,通常我们的直觉思维都会跳转到拆分或者数据分区,在此我想做一些补充和梳理,想和大家做一些这方面的经验总结,也欢迎大家提出建议. 从一开始脑海里开始也是火光 ...

千万级、百万级数据删除优化

场景：

问题：

解决方案：

千万级、百万级数据删除优化相关推荐

最新文章

热门文章