经常会遇到操作一张大表,发现操作时间过长或影响在线业务,想要回退大表操作的场景。在停止大表操作之后,等待回滚是一个很漫长的过程,尽管可能对知道一些缩短时间的方法,处于对生产环境数据完整性的敬畏,也会选择不做介入。

事务回滚

事务是关系型数据库里的执行单位,可以通过最后阶段控制选择提交或回滚。在各种无法保证完整性的场景下进行回滚操作。MySQL里回滚是通过Undo日志完成,Undo日志记录包含关于如何撤消事务相关的最新更改的信息。Undo日志存在于Undo日志段中,Undo日志段包含在回滚段中。回滚段位于undo表空间和全局Temporary表空间中。
关系如下:

  • undo文件

mysql > show variables like '%undo%';
+--------------------------+--------------------+
| Variable_name            | Value              |
+--------------------------+--------------------+
| innodb_max_undo_log_size | 1073741824         |
| innodb_undo_directory    | /opt/data8.0/mysql |
| innodb_undo_log_encrypt  | OFF                |
| innodb_undo_log_truncate | ON                 |
| innodb_undo_tablespaces  | 2                  |
+--------------------------+--------------------+
5 rows in set (0.00 sec)

全局Temporary所指的一个临时表空间(ibtmp1),用于存储对用户创建的临时表所做更改的回滚段。

mysql > SELECT @@innodb_temp_data_file_path;
+-------------------------------+
| @@innodb_temp_data_file_path  |
+-------------------------------+
| ibtmp1:128M:autoextend:max:30G |
+-------------------------------+

理解了回滚包含的文件都有那些 ,继续往下看。

回滚机制:

MySQL回滚控制是内部innodb引擎协调解决,不提供人为控制的机制。目前提供的MySQL回滚参数如下:

mysql> SHOW VARIABLES LIKE  '%ROLL%';
+----------------------------+-------+
| Variable_name              | Value |
+----------------------------+-------+
| innodb_rollback_on_timeout | OFF   |
| innodb_rollback_segments   | 128   |
+----------------------------+-------+

innodb_rollback_on_timeout:

InnoDB默认只在事务超时时回滚最后一条语句。如果指定了——InnoDB -rollback-on-timeout,事务超时将导致InnoDB中止并回滚整个事务。默认下是关闭的,一旦指定时间,如回滚失败。可以想象到数据会存在不一致的问题。这个方式不可取。

Innodb_rollback_segments(1~128):

定义了分配给每个undo表空间的回滚段的数量,以及为生成undo记录的事务分配的全局临时表空间的数量。
回滚段支持的事务数量:取决于回滚段中的撤销slot数量以及每个事务所需的撤销日志数量

官方提供的回滚段中undo槽的数量根据InnoDB页面大小有关:

从最新的MySQL8.0.27源码实现中 storage\innobase\include\trx0rseg.h:

/* Number of undo log slots in a rollback segment file copy
这里 UNIV_PAGE_SIZE正常页面的大小  即 1024*/
#define TRX_RSEG_N_SLOTS (UNIV_PAGE_SIZE / 16)/* Maximum number of transactions supported by a single rollback segment
单个回滚段支持的最大事务数1024/2=512
*/
#define TRX_RSEG_MAX_N_TRXS (TRX_RSEG_N_SLOTS / 2)

在默认情况下page中又划分了1024个slot槽(TRX_RSEG_N_SLOTS),每个slot又对应到一个undo log对象,因此理论上InnoDB可以支持 128 * 512=65536个普通事务。
原理部分参考MySQL · 引擎特性 · InnoDB undo log 漫游
官方提供undbo回滚并发读写场景:

从上诉的原理中回到实际应用场景中:
对于回滚段支持的能力,还是可观的,但往往执行大批量的回滚的时候非常慢。特别是在线处理过程中发现10w行回滚 有可能10分钟这样的情况。甚至更长时间。
下面通过sysbench准备5000w的单表数据,在无负载下,大概删除1分钟,之后通过kill -9,强制停止方式回滚事务:

明显重新启动效果更加。
但kill -9 方式容易把数据页损坏,存在很大的风险。日常当中数据库也有负载,可想而知,大事务回滚的代价非常大。

总结

应尽量避免大的回退操作,非常消耗数据库资源和性能,生产环境下会导致重大生产事故。避免不了大事务回滚,可以采取以下方式:

  • 对于批量操作,可以分批提交 比如1000行 ~5000行之类的
  • undo空间和全局临时表空间 可以适当的调整。建议4个undo文件,全局ibtmp1初始化1G
  • 高可用环境下,能确数据的一致性下,可以把从提升新主,提供服务,等待大事务回滚。
  • 极端情况下,可以通过 kill -9 重启操作会因为数据量非常大,导致mysql恢复缓慢,此时需要等待mysql进行崩溃恢复,根据数据量的不同,等待的时间也不同
  • 如重新启动过程中,存在数据页损坏或跳过回滚 ,可通过innodb_force_recovery=3(不执行事务回滚操作。)

MySQL的rollback--大事务回滚相关推荐

  1. Mysql存储过程中的事务回滚

    create procedure test(in a int)BEGINDECLARE t_error INTEGER DEFAULT 0;DECLARE CONTINUE HANDLER FOR S ...

  2. java pg数据库事务回滚,基于Postgresql 事务的提交与回滚解析

    用过oracle或mysql的人都知道在sqlplus或mysql中,做一个dml语句,如果发现做错了,还可以rollback;掉,但在PostgreSQL的psql中,如果执行一个dml,没有先运行 ...

  3. mysql事务 mysql事务回滚 MySQL事务死锁 如何解除死锁 资金出入账

    这里写目录标题 问题 什么是事务 为什么需要事务 创建账户表 插入数据 无事务资金出入账 有事务资金出入账 事务死锁 死锁出现的原因 解决事务死锁 查看表级锁 查询表锁进程 查询行级锁 杀死行锁进程 ...

  4. mysql 事务 回滚 原理_mysql 事务的实现原理

    一. 开篇 相信大家都用过事务以及了解他的特点,如原子性(Atomicity),一致性(Consistency),隔离型(Isolation)以及持久性(Durability)等.今天想跟大家一起研究 ...

  5. Mysql事务回滚机制与原理

    Mysql事务回滚机制与原理 文章目录 Mysql事务回滚机制与原理 一.事务回滚机制 二.使用到的技术讨论 三.redo log和undo log介绍 3.1 redo log 3.2 undo l ...

  6. python实现数据库事务回滚_使用Python脚本实现MySQL误操作的快速回滚

    1.简介 在Oracle数据库中,当一个误操作被提交后,我们可以通过Oracle提供的闪回功能将表闪回至误操作之前的状态.mysql中没有原生的flushback功能,DBA误操作时,传统的恢复方式是 ...

  7. mysql事务回滚后,自增ID仍然增加

    事务回滚后,自增ID仍然增加 回滚后,自增ID仍然增加. 比如当前ID是7,插入一条数据后,又回滚了. 然后你再插入一条数据,此时插入成功,这时候你的ID不是8,而是9. 因为虽然你之前插入回滚,但是 ...

  8. mysql的回滚机制_mysql事务回滚机制概述

    应用场景: 银行取钱,从ATM机取钱,分为以下几个步骤 1 登陆ATM机,输入密码: 2 连接数据库,验证密码: 3 验证成功,获得用户信息,比如存款余额等: 4 用户输入需要取款的金额,按下确认键: ...

  9. mysql 事务回滚_简短截说阐述redis中事务的使用

    我们知道,在关系型数据库中,比如mysql,如果要使用事务,首先向数据库服务器发送 BEGIN ,然后执行各个相互一致的写操作和读操作,最后,用户可以选择发送 COMMIT 来确认之前所做的修改,或者 ...

最新文章

  1. iOS面试准备之思维导图
  2. 能使曲线变平滑的一维滤波器_音响电源滤波器有什么作用?有人说能提升音质!你信不信?...
  3. Windows Server 2012 R2工作文件夹③:规划权限
  4. 你可能会用到的 Mock 小技巧
  5. Oracle数据库管理员职责(二)
  6. 多线程百度网盘爬虫Python完整源码
  7. UEditor在线编辑器配置及注意事项
  8. java注解 自定义策略传参_Java注解教程及自定义注解
  9. JVM的4种垃圾回收算法、垃圾回收机制与总结
  10. linux 两台linux服务器想共享一个磁盘分区
  11. 你想学的都在这里!传智播客java就业班教程
  12. 3DMAX里怎样打包贴材质的文件不丢失贴图材质?
  13. 看书学习感悟系列(二)
  14. Stylus入门教程--实例(1)
  15. tcp伪报头_TCPUDP伪首部详解
  16. 【OpenGL】OpenGL帧缓存对象(FBO:Frame Buffer Object)
  17. 如何维持手机电池寿命_如何延长手机电池寿命?总有些事你不知道
  18. python 基础一
  19. xp系统桌面计算机不见了怎么办,xp我的电脑图标没了怎么办,xp系统桌面图标不见了...
  20. [总结]FFMPEG视音频编解码零基础学习方法

热门文章

  1. 失去华为的合作,2nm工艺再延迟量产,台积电真慌了
  2. linux mysql 邮件_linux 下 搭建邮件邮件服务器(Postfix+Dovecot)(二)-基于mysql的虚拟账户登陆收发邮件...
  3. 【P110 27】C++ 深拷贝与浅拷贝
  4. Uva - 12627 - Erratic Expansion
  5. 网络分析仪log mag的含义
  6. 学术英语阅读与写作5:实验结果Result
  7. mathematica中画图技巧
  8. 投诉、报警、围堵...一系列操作都无用!这家创业公司的老板还是消失跑路了...
  9. 175Echarts - 象形柱图(Spirits)
  10. /',‘\\’与‘\’的区别