前言

删除表,大家下意识想到的命令可能是直接使用DROP TABLE "表名",这是初生牛犊的做法,因为当要删除的表达空间到几十G,甚至是几百G的表时候。这样一条命令下去,MySQL可能就直接夯住了,外在表现就是QPS急速下降,客户请求变慢。

解决办法

1.业务低峰时间手动执行删除

这个可能就需要DBA不辞辛劳,大晚上爬起来删表了。

2.先清除数据,最后再删除的方式

譬如1000万条数据,写脚本每次删除20万,睡眠一段时间,继续执行。这样也能做到对用户无感知。

3.对表文件(idb文件)做一个硬链接来加速删除

这个方法利用了linux下硬链接的知识,来进行快速删除,不记得话可以回去翻一下《鸟哥的linux私房菜》

ln data_center_update_log.ibd data_center_update_log.ibd.hdlk

[root@mysql01 sports_center]# ll

总用量 19903792

-rw-r----- 1 mysql mysql 9076 10月 17 13:15 data_center_update_log.frm

-rw-r----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd

-rw-r----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd.hdlk

执行上面命令后,我们就多了一个data_center_update_log.ibd.hdlk文件。此操作实际上不会占用磁盘空间,只是增加了一次对磁盘上文件的引用。

当我们删除其中任何一个文件时,都不会影响磁盘上真实的文件,只是将其引用数目减去1。当被引用的数目变为1的时候,再去删除文件,才会真正做IO来删除它。

正是利用这个特点,将由原来mysql来删除大文件的操作,转换为一个简单的操作系统级的文件删除,从而减少了对mysql的影响。

4.登陆mysql,执行drop表操作

很快,200万条数据只用了1秒完成,此操作是在创建硬链接后执行的

mysql> drop tables data_center_update_log;

Query OK, 0 rows affected (1.02 sec)

mysql> exit

Bye

退出来,再次查看数据目录,发现就只剩data_center_update_log.ibd.hdlk硬链接文件了

[root@mysql01 sports_center]# ll

总用量 19903792

-rw-r----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd.hdlk

5.如何正确删除ibd.hdlk硬链接文件呢

虽然drop table之后,剩下的硬链接文件已经和mysql没有关系了。但如果文件过大,直接用rm命令来删除,也是会造成IO开销飙升,CPU负载过高,进而影响到MySQL。

这里我们用到的方法,可以循环分块删除,慢慢地清理文件,通过一个脚本即可搞定

Truncate命令通常用于将文件缩小或扩展到指定的大小。如果文件大于指定的大小,则会丢失额外的数据。如果文件较短,则会对其进行扩展,并且扩展部分的读数为零字节。

5.1 安装truncate命令

[root@mysql01 ~]# cruncate

-bash: cruncate: 未找到命令

通常操作系统会安装truncate命令,该命令在coreutils安装包里面,如果没有安装可以使用下面命令安装

[root@mysql01 ~]# yum provides truncate

coreutils-8.22-24.el7.x86_64 : A set of basic GNU tools commonly used in shell scripts

源 :base

匹配来源:

文件名 :/usr/bin/truncate

可以看到truncate由coreutils安装包提供,下面安装coreutils安装包:

[root@mysql01 ~]# yum install -y coreutils

5.2 truncate常用选项

-c, --no-create --> 不创建任何文件

-o, --io-blocks --> 将大小视为存储块的数量,而不是字节

-r, --reference=RFILE --> 参考指定的文件大小

-s, --size=SIZE --> 按照指定的字节设置文件大小

5.3 truncate_bigfile.sh脚本

原理:使用truncate -s选项可以指定文件大小,通过脚本指定每次文件减少的大小,并sleep睡眠一定时间,从而达到可控的删除文件

附:truncate_bigfile.sh脚本

#! /bin/bash

#

TRUNCATE=/usr/bin/truncate

FILE=$1

if [ x"$1" = x ];then

echo "Please input filename in"

exit 1;

else

SIZE_M=$(du -sm "$1" | awk "{print $1}")

for i in $(seq "${SIZE_M}" -100 0)

do

sleep 1

echo "${TRUNCATE} -s ${i}M ${FILE}"

${TRUNCATE} -s "${i}"M "${FILE}"

done

fi

if [ $? -eq 0 ];then

m -f "${FILE}"

else

echo "Please check file"

fi

总结

到此这篇关于MySQL如何优雅的删除大表的文章就介绍到这了,更多相关MySQL优雅删除大表内容请搜索云海天教程以前的文章或继续浏览下面的相关文章希望大家以后多多支持云海天教程!

mysql数据库truncate 夯住_MySQL如何优雅的删除大表实例详解相关推荐

  1. mysql添加新的实例_MySQL中添加新用户权限的实例详解

    有2个不同的方法增加用户:通过使用GRANT语句或通过直接操作MySQL授权表.比较好的方法是使用GRANT语句,因为他们是更简明并且好像错误少些. 下面的例子显示出如何使用MySQL客户安装新用户. ...

  2. mysql通过集合查询_MySQL使用集合函数进行查询操作实例详解

    本文实例讲述了MySQL使用集合函数进行查询操作.分享给大家供大家参考,具体如下: COUNT函数 SELECT COUNT(*) AS cust_num from customers; SELECT ...

  3. mysql isreg_`Innodb` MySQL中如何优雅的删除大表跑路

    最近很想写写MySQL相关的内容,就从这个话题出发吧 有人说删MySQL表谁不会 不就是 drop table TABLENAME 如果在生产环境中,你对一张TB级别的大表,敲下这行命令 那么你的主管 ...

  4. mysql 压力测试知乎_MySQL 对于千万级的大表要怎么优化? - MySQL

    很多人第一反应是各种切分:我给的顺序是: 第一优化你的sql和索引: 第二加缓存,memcached,redis: 第三以上都做了后,还是慢,就做主从复制或主主复制,读写分离,可以在应用层做,效率高, ...

  5. mysql 查询 集合_MySQL使用集合函数进行查询操作实例详解

    本文实例讲述了MySQL使用集合函数进行查询操作.分享给大家供大家参考,具体如下: COUNT函数 SELECT COUNT(*) AS cust_num from customers; SELECT ...

  6. mysql 1061原因_MySQL死锁问题分析及解决方法实例详解(转)

    出处:http://www.jb51.net/article/51508.htm MySQL死锁问题是很多程序员在项目开发中常遇到的问题,现就MySQL死锁及解决方法详解如下: 1.MySQL常用存储 ...

  7. mysql从库夯住_MySQL从库维护经验分享

    前言: MySQL 主从架构应该是最常用的一组架构了.从库会实时同步主库传输来的数据,一般从库可以作为备用节点或作查询使用.其实不只是主库需要多关注,从库有时候也要经常维护,本篇文章将会分享几点从库维 ...

  8. MySQL数据库常用图形化操作界面——Navicat的安装与使用教程详解

    目录 一.Navicat介绍 二.Navicat的安装教程 三.Navicat连接MySQL 一.Navicat介绍 Navicat是一套快速.可靠的数据库管理工具,Navicat是以直觉化的图形用户 ...

  9. mysql行转列和列转行_mysql 行转列和列转行实例详解

    mysql行转列.列转行 语句不难,不做多余解释了,看语句时,从内往外一句一句剖析 行转列 有如图所示的表,现在希望查询的结果将行转成列 建表语句如下: create table `test_tb_g ...

最新文章

  1. Java中ArrayList remove会遇到的坑
  2. BQ27510 电量计的校准 的 C语言实现
  3. 作为程序员,这些梗你都答得上来吗?
  4. 刷道谷歌泄漏的面试题:面试官想从中考察你什么?
  5. C#面向对象名词比较(一)
  6. NOI数学之提高级:欧拉定理和欧拉函数
  7. python 小案例
  8. 计算机桌面亮度调整,接近完美:如何调整计算机屏幕的亮度?如何调整计算机屏幕的亮度[graphic]...
  9. python多分类画roc曲线_利用python制作ROC曲线进行多分类
  10. Tensorflow 循环神经网络-时间序列表示
  11. css中字体的大小怎么设置,css样式中怎么设置字体大小
  12. CRC循环冗余校验码的C语言实现
  13. BCB 第三方组件/控件 ZZ
  14. 管理系统页面布局 html,25 个精美的后台管理界面模板和布局
  15. 弄懂了阴阳转换,穴位或为丹田的宿
  16. 希捷为 Xbox 更新 Game Drive SSD 具有新外观和内部结构
  17. 浅谈ES6后的TDZ时间死区
  18. java 正则表达式匹配冒号_java 获取冒号后面的参数(正则)实现代码
  19. Android基本组件及使用
  20. 最安全的邮箱-Gmail

热门文章

  1. 模拟退火粒子群优化算法控制程序
  2. python读文件完整代码_python读文件逐行处理的示例代码分享
  3. wxpython 日志显示框_wxpython与logging模块结合显示实时日志
  4. java内存块_JVM上的并发和Java内存模型之同步块笔记
  5. Matlab读和写图像需要注意的问题
  6. ESP8266的网状网络(Mesh Network)
  7. DBA(六):MHA集群
  8. “设为桌面图标”的ASP源代码
  9. IP选路与动态选路协议(六)
  10. 局域网内同时使用两台路由器的配置方法