mysql数据清洗_mysql数据库如何实现亿级数据快速清理

今天收到磁盘报警异常，50G的磁盘被撑爆了，分析解决过程如下：

1. 进入linux服务器，查看mysql文件夹中各个数据库所占的磁盘空间大小

看到了吗，光olderdb就占了25G

2. 用SQLyog登录mysql数据库，查看数据库各个表的占用空间情况

SELECT CONCAT(table_schema,'.',table_name) AS 'aaa',

table_rows AS 'Number of Rows',

CONCAT(ROUND(data_length/(1024*1024*1024),6),' G') AS 'Data Size',

CONCAT(ROUND(index_length/(1024*1024*1024),6),' G') AS 'Index Size' ,

CONCAT(ROUND((data_length+index_length)/(1024*1024*1024),6),' G') AS'Total'

FROM information_schema.TABLES

WHERE table_schema LIKE 'olderdb';

3. 查询主键索引

SHOW INDEX FROM orbit

采取策略

前提：目前需要删除80%的数据

① delete语句

我们知道delete语句的删除速度与索引量成正比，此表中的索引量已经很大了，而且数据量非常之巨大，若采用常规delete语句删除，必定会话费几天的时间。

Delete语句删除不会释放出磁盘空间，所以肯定还是会出现报警，所以此种方式不可取。

② drop掉表

新建结构相同的表，命名“cc”,'将需要保存的数据插入到此表中，然后drop掉老表。

Sql语句如下：

基于老表新建新表

CREATE TABLE cc LIKE orbit ;

插入数据(几百万的数据量一定要分批插入，一次30万-40万为最佳，毕竟mysql的数据处理能力有限)

按日期查询后插入(每天大概会产生30多万数据量，所以采用日期插入)

INSERT INTO cc SELECT * FROM orbit WHERE xttime > '2018-04-16 00:00:00' AND xttime<='2018-04-17 00:00:00';

结果如下：

可以看到50多万的数据量用了不到5分钟，还是比较快的。

清理后数据表空间得以释放

然后drop掉老表

DROP TABLE orbit

目测只用了3秒左右

重命名新表“cc”

ALTER TABLE cc RENAME TO orbit

总结

以上所述是小编给大家介绍的mysql数据库如何实现亿级数据快速清理，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！

mysql数据清洗_mysql数据库如何实现亿级数据快速清理相关推荐

mysql没有索引删除一亿数据_mysql数据库如何实现亿级数据快速清理
今天收到磁盘报警异常,50G的磁盘被撑爆了,分析解决过程如下: 1. 进入linux服务器,查看mysql文件夹中各个数据库所占的磁盘空间大小看到了吗,光olderdb就占了25G 2. 用SQLy ...
mysql怎么快速删除亿级数据_mysql数据库如何实现亿级数据快速清理
今天收到磁盘报警异常,50G的磁盘被撑爆了,分析解决过程如下: 1. 进入linux服务器,查看mysql文件夹中各个数据库所占的磁盘空间大小看到了吗,光olderdb就占了25G 2. 用SQLy ...
mysql数据量大增加字段_MySQL 8.0.19亿级数据如何秒速增加字段？
概述今天主要介绍一下MySQL 8.0.19 instant add column的新特性,基于亿级数据秒速增加字段,下面一起来看看吧~ 一.MySQL DDL 的方法 MySQL 在大型表上的 D ...
mysql 小雨_Mysql数据库
Mysql服务配置安装mysqld服务: yum groupinstall 'mysql database server' yum –y install mysql-server php-mysql ...
mysql大小写敏感_MySQL数据库大小写敏感的问题
在MySQL中,数据库对应数据目录中的目录.数据库中的每个表至少对应数据库目录中的一个文件(也可能是多个,取决于存储引擎).因此,所使用操作系统的大小写敏感性决定了数据库名和表名的大小写敏感性.这说明 ...
mysql 文卷_mysql数据库试卷
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],&q ...
mysql流量_mysql数据库网络流量
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],&q ...
java mysql 项目_mysql数据库如何实现与Java项目连接
mysql数据库如何实现与Java项目连接发布时间:2020-11-09 16:47:40 来源:亿速云阅读:68 作者:Leah mysql数据库如何实现与Java项目连接?很多新手对此不是很清 ...
查看mysql数据库服务_MySQL数据库之mysql5.7基础查看mysql的服务状态
本文主要向大家介绍了MySQL数据库之mysql5.7基础查看mysql的服务状态 ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. Operating System:Ubunt ...

mysql数据清洗_mysql数据库如何实现亿级数据快速清理

mysql数据清洗_mysql数据库如何实现亿级数据快速清理相关推荐

最新文章

热门文章