MySql 在修改表结构的时候可能会中断产品的正常运行影响用户体验,甚至更坏的结果,丢失数据。不是所有的数据库管理员、程序员、系统管理员都非常了解Mysql能避免这种情况。DBA会经常碰到这种生产中断的情况,当升级脚本修改了应用层和数据库层,或者缺乏经验的管理员、开发在不是很了解Mysql内部工作机制的情况下修改了规范文件。

真相是:

直接修改表结构的过程中会锁表(在5.6版本之前)

在线的数据定义语言在5.6版本不总是在线的而且也会锁表

就算使用Percona工具包(在线修改定义文件)也会有若干个步骤会锁表

Percona MySQL  服务器开发团队鼓励用户在计划或者执行数据库迁移的时候先和我们沟通。我们的目标是基于用户给出的各种情况给出最佳的方案。旨在避免锁表当用户对非常大的表执行DDL,以确保应用能像平常一样正常运行,同时也在努力改善响应时间或增加系统功能。最差的情况是确保那些经不起当机的系统在黄金交易时间正常运行。

我们使用的大多数安装包仍然小于Mysql5.6,这需要我们不停尝试新的安装环境来把数据库迁移造成的损失降到最低。这可能需要一个能“在线修改规范定义文件”的工具来升级或者修改规范文件。Mysql5.6解决这一问题的做法是通过减少重建表和锁表的场景,但这个方法不能覆盖所有的可能的操作,例如当修改一列的数据类型时必然需要全表重构。Przemys?aw和 Malkowski在去年尽可能详尽的讨论了Mysql5.6运行中修改定义。

随着 MySQL 5.7的新功能, 我们寻求不会锁表的DDL操作 例如; 表优化 和 索引重命名. (More info)

对于Mysql5.6的用户,最好的建议是回顾一下数矩阵来熟悉在MYSQL之外执行定义的更改,好消息是我们很擅长解决这一问题。

说实话,锁表操作会经常被忽视,在操作30M大小的表时我们更倾向于直接修改,但是30G,300G的表就要考虑一下了。当使用率不高或者对锁定时间要求不是很高的的系统来说直接操作也许更好。可是,我们常常会遇到一个需要立即执行的SQL,或者因为性能问题需要紧急增加一个索引来减少加载时间。

是否需要在系统在线期修改表定义

上面提到,在线修改表定义是工作流中的一个模块。通常是不错的解决方案,但也会遇到不能使用的场合,例如:当某个表使用了触发器。了解pt-osc在我们项目中的工作过程很重要,让我们来看一下源代码:

复制代码 代码如下:

[moore@localhost]$ egrep 'Step' pt-online-schema-change

# 步骤 1: 创建一个新表

# 步骤 2: 修改清空表. 这应该比较快,

# Step 3: 创建触发器来捕获原始表的改变

# Step 4: 复制数据.

# Step 5: 重命名表:

# Step 6: 更新外键 如果是子表.

# Step 7: 删除旧表.

我把上面第三步到第五步高亮出来,这是锁表可能引起系统停机的时间。但步骤六设计外键更新是一个循环的操作,是避免在更新关系的时候隐含地重建表。有很多方法可以确保表的完整性约束,在pt-osc的说明文档中详细说明了,在开始之前预览你的表结构包括约束,并知道怎样把修改表定义所造成的影响降到最低。

最近,我们通知了一个拥有高并发高事务量系统的用户运行pt-osc在大型数据表上。这件事对于他们来说很平常,几小时后我们的客服被告知该客户遇到了最大连接数超过的问题。这个问题是如何产生的呢?当pt-osc运行到步骤五的时候会尝试去锁定数据并重命名原表和隐藏表,然而这不会在开启事务的时候立即执行,因此这条线程会被排在重命名后面。这表现在用户应用上就是系统停机。数据库无法开启新的连接并且所有的线程都被阻塞在重命名命令之后。

    5.5.3版本的说明,当开启一个事务时会锁定它会用到的所有表的数据(不依赖于存储引擎),并在事务提交的时候释放锁。这样做确保了在开启事务期间不能修改表的定义。

长远来看我们可以采用一些新的技术来避免这种情况,例如non-default pt-osc的选项,换言之就是不会删除原表把数据换到新表。这种联合脱离了隐藏表和触发器,我们应该鼓励将重命名操作变得原子化。

校订:2.2版本的percona工具新增了一个变量–tries  和变量–set-vars 共同被部署,解决了各种pt-osc操作可能会锁表的情况。pt-osc (–set-vars)默认会设置如下的会话变量当连接到数据库服务器的时候。

复制代码 代码如下:

wait_timeout=10000

innodb_lock_wait_timeout=1

lock_wait_timeout=60

当使用 –tries 我们可以颗粒化地鉴别操作,尝试次数、在尝试的间隔等待。这种组合可以确保pt-osc在合适的时机杀掉自己的等待会话进程,确保线程堆栈的空闲,并提供给我们循环操作来获取管理因触发器、重命名、修改外键而造成的锁。

复制代码 代码如下:

–tries swap_tables:5:0.5,drop_triggers:5:0.5

说明文档在这里http://www.percona.com/doc/percona-toolkit/2.2/pt-online-schema-change.html#cmdoption-pt-online-schema-change–tries

它阐述了即便使用了诸如pt-osc之类的工具,充分了解你想解决的问题是很重要。下面的流程图会帮助你当你了解修改了MYSQL数据库的结构的注意事项。请仔细阅读建议尽管有些图上未标出,例如磁盘空间,IO加载等。

选择合适的DDL操作

确保能清楚了解在修改表结构对你的系统会产生何种影响,并选择合适的方法来使这种影响降到最低。有时这意味着需要将改动延期直到系统到了不常使用的时候或者使用能在操作期间不锁表的工具。当你表中有触发器的时候一般直接修改表结构。

-大多数情况下pt-osc正是我们所需要的

-在很多案例中pt-osc是需要的,但是用法需要稍作调整

-在少数情况下pt-osc不是很合适,我们需要考虑本地阻塞修改,或者采用转移的操作改成在副本集中复制。

本文标题: MySQL中修改表结构时需要注意的一些地方

本文地址: http://www.cppcns.com/shujuku/mysql/126976.html

mysql 修改表结构方案_MySQL中修改表结构时需要注意的一些地方相关推荐

  1. mysql改存储引擎教程_MySQL中修改数据表存储引擎的三种方法

    第一种方法:ALTER TABLE 将表从一个引擎修改为另一个引擎最简单的办法是使用ALTER TABLE语句,转换表的存储引擎会导致失去原引擎相关的所有特性. 例:将mytable的引擎修改为Inn ...

  2. Mysql修改字段名和长度_mysql中修改表字段名/字段长度/字段类型详解

    先来看看常用的方法 MySql的简单语法,常用,却不容易记住.当然,这些Sql语法在各数据库中基本通用.下面列出: 1.增加一个字段: alter table user add COLUMN new1 ...

  3. mysql 不通过关联查询表_mysql中多表不关联查询的实现方法详解

    下面小编就为大家带来一篇浅谈mysql中多表不关联查询的实现方法.小编觉得挺不错的,现在就分享给大家,也给大家做个参考.一起跟随小编过来看看吧 大家在使用MySQL查询时正常是直接一个表的查询,要不然 ...

  4. php mysql多表关联删除_MySQL中多表删除方法

    欢迎进入Linux社区论坛,与200万技术人员互动交流 >>进入 如果您是才接触MySQL数据库的新人,那么MySQL中多表删除是您一定需要掌握的,下面就将为详细介绍MySQL中多表删除的 ...

  5. mysql数据表添加数值_MySQL中数据表和数据的操作

    一.数据库表的操作 1.数据表的创建 mysql> create tablet_user(-> id int unsigned not null auto_increment primar ...

  6. mysql连表删除语句_MySQL中联表更新与删除的语法介绍

    前言 相信大家在日常使用mysql,可能会遇到需要同时更新两张表时,我会采用在同一个事务中使用2句sql语句分别进行更新.其实,这种需要发送2句sql语句的方法效率相对来说是比较低的,有没有只用1句s ...

  7. mysql查询关键字报错_mysql中in关键字查询时的问题? 400 报错-问答-阿里云开发者社区-阿里云...

    之前也遇到过类似的问题,就是in关键字指定的范围没有数据,会出错######改用exists呢######不行######用join 链接查询过滤一下算了######我是这么做了,但是现在我就想知道, ...

  8. mysql 表和视图_MySQL中视图和普通表的区别

    1.视图是数据库数据的特定子集.可以禁止所有用户访问数据库表,而要求用户只能通过视图操作数据,这种方法可以保护用户和应用程序不受某些数据库修改的影响. 2.视图是抽象的,他在使用时,从表里提取出数据, ...

  9. mysql 共享表空间存储_MySQL InnoDB共享表空间

    简介ibdata1 ibdata1文件是InnoDB存储引擎的共享表空间文件,存放位置my.ini 中的 datadir="D:\phpStudy\MySQL\data",目录下. ...

最新文章

  1. 如何从 900 万张图片中对 600 类照片进行分类? | 技术头条
  2. 动态编译真有用武之地?
  3. 干货:如何正确描述存储IO类型?
  4. 6 计算机组成原理第五章 中央处理器 CPU功能和结构 指令执行过程
  5. cli3解决 ie11语法错误 vue_【VUE3.0】它来了,2020年09月18日,Vue.js 3.0 正式发布,但是........
  6. java 解析p12_java读取*.p12证书的信息 | 学步园
  7. IIS反向代理/Rewrite/https卸载配置
  8. set 集合容器实现元素的插入与中序排序
  9. STM32 USART 多摩川编码器调试
  10. java线性表的实验心得_线性表实验心得.docx
  11. 5款免费的项目管理软件(推荐收藏)
  12. E450连接蓝牙耳机
  13. 腾讯青浦二期数据中心为啥得到了USGBC的青眼?
  14. WordPress 网站怎么做会员中心功能【会员中心】
  15. MySQL连接工具(SQLyog、Navicat)下载安装
  16. iOS 企业包无法安装
  17. 如何通过cdm连接mysql_CDM云数据迁移服务入门教程
  18. PADS中Flood和Hatch的区别----本人备注
  19. 判断一点是否在三角形的外接圆内
  20. spark value $ is not a member of StringContext

热门文章

  1. PG主程序模块(Main)——boot模式
  2. Android openGl开发详解(二)——通过SurfaceView,TextureView,GlSurfaceView显示相机预览(附Demo)
  3. 简约纯色卡通蝴蝶Mac动态壁纸
  4. 高速电路中电容的选型和应用——详解
  5. 软件架构设计---软件架构评估
  6. WordPress升级后,新版编辑器不能使用解决办法
  7. 太赞了!微软《dotnet中文手册》火了,完整PDF开放下载!
  8. git pull (merge远程分支到本地)
  9. video 视频播放动画
  10. 天玑9200和a15对比 天玑9200和a15处理器哪个强