参考:

在MySQL 5.6版本以前,最昂贵的数据库操作之一就是执行数据定义语言(DDL,例如CREATE,DROP,ALTER等)语句,特别是ALTER语句,因为在修改表时,MySQL会阻塞整个表的读写操作。

对于巨大的表,可能需要几个小时才能完成表的DDL,如此势必会影响应用程序,因此需要对这些操作进行良好的规划,以避免在高峰时段进行这些更改。对于那些有全天候服务(24*7)或有限维护时间的人来说,大表上的DDL是一场真正的噩梦。

Percona开发了一个非常好的工具,称为 pt-online-schema-change,在线执行此类操作,而不会阻塞或影响应用程序,且允许对正在更改的表进行读/写操作。

MySQL也对DDL语句进行了一些增强,并在MySQL 5.6中引入了在线DDL功能。

PT-ONLINE-SCHEMA-CHANGE

OVERVIEW

pt-osc 用于 alter table 时不锁表,简单地说,这个工具创建一个与原始表一样的新的空表,并根据需要更改表结构,然后将原始表中的数据以小块形式复制到新表中,然后删除原始表,然后将新表重命名为原始名称。在复制过程中,对原始表的所有新的更改(insert,delete,update)都将应用于新表,因为在原始表上创建了一个触发器,以确保所有新的更改都将应用于新表。有关 pt-online-schema-change 工具的更多信息,请查阅手册文档 。大致的工作流程总结如下:

pt-osc工作过程

创建一个和要执行 alter 操作的表一样的新的空表结构(是alter之前的结构)

在新表执行alter table 语句(速度应该很快)

在原表中创建触发器3个触发器分别对应insert,update,delete操作

以一定块大小从原表拷贝数据到临时表,拷贝过程中通过原表上的触发器在原表进行的写操作都会更新到新建的临时表(会限制每次拷贝数据的行数以保证拷贝不会过多消耗服务器资源,采用 LOCK IN SHARE MODE 来获取要拷贝数据段的最新数据并对数据加共享锁阻止其他会话修改数据,不过每次加S锁的行数不多,很快就会被释放)

Rename 原表到old表中,在把临时表Rename为原表(整个过程只在rename表的时间会锁一下表,其他时候不锁表)

如果有参考该表的外键,根据alter-foreign-keys-method参数的值,检测外键相关的表,做相应设置的处理

默认最后将旧原表删除

EXAMPLE

给表 test.scutech 的 name 字段加一个索引 idx_name (下面的输出完整的描述了该工具在后台执行的所有步骤):

# pt-online-schema-change --print --execute --alter="add index idx_name(name)" D=test,t=scutech,h=localhost,u=root,p=xxxxxxNo slaves found. See--recursion-method if host CentOS6.6-zabbix has slaves.

Not checking slave lag because no slaves were found and--check-slave-lag was not specified.

Operation, tries,wait:

analyze_table,10, 1copy_rows,10, 0.25create_triggers,10, 1drop_triggers,10, 1swap_tables,10, 1update_foreign_keys,10, 1Altering `test`.`scutech`...

Creating new table...

CREATE TABLE `test`.`_scutech_new` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`number`int(11) DEFAULT NULL,

`name` varchar(50) DEFAULT NULL,

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=10000001 DEFAULT CHARSET=utf8mb4

Created new table test._scutech_new OK.

Altering new table...

ALTER TABLE `test`.`_scutech_new` add index idx_name(name)

Altered `test`.`_scutech_new` OK.2018-05-11T17:15:18Creating triggers...

CREATE TRIGGER `pt_osc_test_scutech_del` AFTER DELETE ON `test`.`scutech` FOR EACH ROW DELETE IGNORE FROM `test`.`_scutech_new` WHERE `test`.`_scutech_new`.`id` <=> OLD.`id`

CREATE TRIGGER `pt_osc_test_scutech_upd` AFTER UPDATE ON `test`.`scutech` FOR EACH ROW BEGIN DELETE IGNORE FROM `test`.`_scutech_new` WHERE!(OLD.`id` <=> NEW.`id`) AND `test`.`_scutech_new`.`id` <=> OLD.`id`;REPLACE INTO `test`.`_scutech_new` (`id`, `number`, `name`) VALUES (NEW.`id`, NEW.`number`, NEW.`name`);END

CREATE TRIGGER `pt_osc_test_scutech_ins` AFTER INSERT ON `test`.`scutech` FOR EACH ROW REPLACE INTO `test`.`_scutech_new` (`id`, `number`, `name`) VALUES (NEW.`id`, NEW.`number`, NEW.`name`)2018-05-11T17:15:18Created triggers OK.2018-05-11T17:15:18 Copying approximately 9977440rows...

INSERT LOW_PRIORITY IGNORE INTO `test`.`_scutech_new` (`id`, `number`, `name`) SELECT `id`, `number`, `name` FROM `test`.`scutech` FORCE INDEX(`PRIMARY`) WHERE ((`id` >= ?)) AND ((`id` <= ?)) LOCK IN SHARE MODE /*pt-online-schema-change 124376 copy nibble*/SELECT/*!40001 SQL_NO_CACHE*/ `id` FROM `test`.`scutech` FORCE INDEX(`PRIMARY`) WHERE ((`id` >= ?)) ORDER BY `id` LIMIT ?, 2 /*next chunk boundary*/Copying `test`.`scutech`:12% 03:24remain

Copying `test`.`scutech`:26% 02:49remain

Copying `test`.`scutech`:38% 02:22remain

Copying `test`.`scutech`:48% 02:09remain

Copying `test`.`scutech`:58% 01:46remain

Copying `test`.`scutech`:65% 01:33remain

Copying `test`.`scutech`:72% 01:19remain

Copying `test`.`scutech`:78% 01:04remain

Copying `test`.`scutech`:86% 00:43remain

Copying `test`.`scutech`:92% 00:25remain2018-05-11T17:20:43Copied rows OK.2018-05-11T17:20:44Analyzing new table...2018-05-11T17:20:44Swapping tables...

RENAME TABLE `test`.`scutech` TO `test`.`_scutech_old`, `test`.`_scutech_new` TO `test`.`scutech`2018-05-11T17:20:45Swapped original and new tables OK.2018-05-11T17:20:45Dropping old table...

DROP TABLE IF EXISTS `test`.`_scutech_old`2018-05-11T17:20:46Dropped old table `test`.`_scutech_old` OK.2018-05-11T17:20:46Dropping triggers...

DROP TRIGGER IF EXISTS `test`.`pt_osc_test_scutech_del`;

DROP TRIGGER IF EXISTS `test`.`pt_osc_test_scutech_upd`;

DROP TRIGGER IF EXISTS `test`.`pt_osc_test_scutech_ins`;2018-05-11T17:20:46Dropped triggers OK.

Successfully altered `test`.`scutech`.

PT-ONLINE-SCHEMA-CHANGE 的局限性

在使用此工具之前,应为表定义PRIMARY KEY或唯一索引,因为它是DELETE触发器所必需的;

如果表已经定义了触发器,则不支持 pt-osc ;(显然不是不能有任何触发器,只是不能有针对insert、update、delete的触发器存在,因为一个表上不能有两个相同类型的触发器)

如果表具有外键约束,需要使用选项 --alter-foreign-keys-method ;

还是因为外键,对象名称可能会改变(indexes names 等);

在Galera集群环境中,不支持更改MyISAM表,系统变量 wsrep_OSU_method 必须设置为 TOI(total order isolation)。

ONLINE DDL

OVERVIEW

在MySQL 5.6中,引入了在线 DDL方法,以便访问和写入正在更改的表。在线DDL语法与指定两个参数后的正常 alter语句完全相同:

ALGORITHM:

INPLACE: 表的更改将在原表进行,而不用重建整个表格(在大多数情况下,不需要将数据复制到临时表)

COPY: 将数据复制到临时表中,重建表格并重建二级索引(相当于传统方法)

LOCK:

NONE: Read and write operations are allowed during the altering process.

SHARED: Only read operations are allowed during the altering operations (DML is not allowed).

EXCLUSIVE: The entire table will be locked for both reading and writing (neither select nor DML are allowed).

Online DDL 在手册文档中有详细说明,您可以在这里查看更多信息。

哪些 ddl 操作可以使用 inplace算法?

EXAMPLE

给表 test.test2 的 name 字段加一个索引 name_idx

mysql> alter tabletest2-> add index name_idx (name),algorithm=inplace, lock=none;

Query OK,0 rows affected (0.03sec)

Records:0 Duplicates: 0 Warnings: 0

仅适用于InnoDB(语法上它可以与其他存储引擎一起使用,如MyISAM,但MyISAM只允许algorithm = copy,与传统方法相同);

无论使用何种锁(NONE,共享或排它),在开始和结束时都需要一个短暂的时间来锁表(排它锁);参考这里

在添加/删除外键时,应该禁用 foreign_key_checks 以避免表复制;

仍然有一些 alter 操作需要 copy 或 lock 表(老方法), 有关哪些表更改需要表复制或表锁定,请查看手册;

如果在表上有 ON ... CASCADE 或 ON ... SET NULL 约束,则在 alter table 语句中不允许LOCK = NONE;

Online DDL 会被复制到从库(同主库一样,如果 LOCK = NONE,从库也不会加锁),但复制本身将被阻止,因为 alter 在从库以单线程执行,这将导致主从延迟问题。

COMPARISON RESULTS

下图是 Online DDL 和 PT-OSC 的一些操作的比较,表有 1,078,880 行。

rows affected 为 0,说明使用 in-place 方法,非0 则使用 copy-table 方法。当 rows affected 非0 时,建议使用 pt-osc 进行表变更。

另外,如果原表已经是 InnoDB 引擎,执行 alter table tb_name engine=innodb; 影响的行数是 0 ,可以使用 in-place ,此方法可以清理表空间的磁盘碎片。

WHICH METHOD SHOULD BE USED?

虽然pt-online-schema-change允许对被修改的表进行读写操作,但它仍然将表数据复制到后台的临时表中,这会在MySQL服务器上增加开销。 所以基本上,如果Online DDL不能有效地工作,我们才应该使用pt-online-schema-change。换句话说,如果在线DDL需要将数据复制到临时表(algorithm=copy),并且该表将被阻塞很长一段时间(lock = exclusive)或者在复制环境中更改大表时,则应该使用 pt-online-schema-change 工具。

使用 pt-osc 和原生 5.6 online ddl相比,如何选择?

online ddl在必须copy table时成本较高,不宜采用

pt-osc工具在存在触发器时,不适用

修改索引、外键、列名时,优先采用online ddl,并指定 ALGORITHM=INPLACE

其它情况使用pt-osc,虽然存在copy data

pt-osc比online ddl要慢一倍左右,因为它是根据负载调整的

无论哪种方式都选择的业务低峰期执行

特殊情况需要利用主从特性,先alter从库,再改原主库(sql_log_bin),可避免主从延迟

在执行 ALTER TABLE 语句时,如果不清楚是否可以用上 Online DDL 的 inplace 算法,可以直接在语句后面加上 ALGORITHM = INPLACE,如果语句不能使用 in-place 机制,该语句会立即停止。

mysql online ddl和pt_MySQL变更之:Online DDL 和 PT-OSC 该选谁?相关推荐

  1. MySQL学习记录 (三) ----- SQL数据定义语句(DDL)

    相关文章: <MySQL学习记录 (一) ----- 有关数据库的基本概念和MySQL常用命令> <MySQL学习记录 (二) ----- SQL数据查询语句(DQL)> &l ...

  2. sql ddl中key_SQL DDL:SQL Server中SQL DDL命令入门

    sql ddl中key This article explains SQL DDL commands in Microsoft SQL Server using a few simple exampl ...

  3. mysql online ddl和pt_MySQL的onlineDDL及pt-osc

    MySQL执行在线变更表结构,是MySQLDBA运维的一个重要日常,该文章讨论了如何对一个大表进行结构变更时保证数据库服务的稳定性. 1.首先看MySQL的onlineDDL.对字段的操作,官方文档中 ...

  4. mysql 5.6 online ddl_mysql5.6的online ddl功能测试

    online DDL的前身是 innodb fast index creation(5.1和5.5), 5.6里对这个功能做了扩展: 很多alter table的操作绕开了 table copying ...

  5. java连接mysql执行ddl_dljd_(007_009)_jdbc执行DQL/DML/DDL语句

    packageedu.aeon.jdbc;importjava.sql.Connection;importjava.sql.Driver;importjava.sql.DriverManager;im ...

  6. mysql ddl 进度_MySQL5.7 慢查询+DDL操作堵塞查询

    数据库版本: mysql> select @@version; +------------+ | @@version | +------------+ | 5.7.26-log | +----- ...

  7. MYSQL(二) SQL通用语法及分类及DDL(对数据库和表操作)的使用

    一SQL通用语法 1)SQL语句可以单行或多行书写,以分号结尾. 2)SQL语句可以使用空格/缩进来增强语句的可读性 3)MYSQL数据库的SQL不区分大小写,关键字建议使用大写 4)注释: 单行注释 ...

  8. 学习笔记(03):MySQL数据库从入门到搞定实战-DDL之数据表

    立即学习:https://edu.csdn.net/course/play/27328/362519?utm_source=blogtoedu ddl之数据表 mysql存储引擎 1.查看mysql支 ...

  9. 2019-7-26 [MySQL] 安装与介绍 语句分类/语法 数据类型 DDL数据定义:创建/查看/删除/使用 DML数据操作:增删改 主键约束 自动增长列 非空约束 默认值 Navicat

    文章目录 0.知识回顾 1.数据库介绍 1.1 数据库概述 1.1.1 什么是数据库 1.1.2 什么是数据库管理系统 1.1.3 数据库与数据库管理系统的关系 1.2 数据库表 1.3 表数据 1. ...

最新文章

  1. winsock select
  2. java 计算运算表达式_java字符串运算表达式的计算
  3. 180.4. WebSphere Commerce Engerprise 7.0 Feature Pack 2.iso
  4. python开发需要掌握哪些知识-人工智能需要学习哪些专业课程知识?
  5. LeetCode_Pascal's Triangle II_杨辉三角形II(Java实现)
  6. Spring mvc,uploadifive 文件上传实践(转自:https://segmentfault.com/a/1190000004503262)
  7. SQLServer当数据导入平面文件
  8. VMware Linux下拖拽补丁vmtools的安装和卸载
  9. Product Master data in C4C and data exchange with CRM via PI
  10. 一个有趣的Go项目,3D界面管理k8s集群,真好玩!
  11. 干加个偏旁可以变成什么字_面试官:“干”字加一笔,变成什么字?回答王和午字不对...
  12. 阿里第一颗芯片问世,平头哥发布最强AI芯片含光800
  13. 栈的输出_算法:栈和队列题目集合(一)
  14. Sql Server查询性能优化之走出索引的误区
  15. 后悔药来了?发出去的微信图文消息删除后不再显示
  16. 关于电脑误删摸个配置文件导致系统异常的解决方法(知道误删的什么文件)
  17. 104规约 scada
  18. 小爱同学app安卓版_小爱同学app-小爱同学安卓版下载v3.0
  19. 《此生未完成》读后感
  20. 武林传奇之七剑下天山java游戏开发商_武林传奇2 之七剑下天山的配方

热门文章

  1. 树莓派使用神经计算棒1代的准备(Tensorflow)
  2. SOL注入——基于联合查询的数字型GET注入(二)
  3. python selenium_Python+selenium自动化测试
  4. 四则运算栈c语言程序,四则运算   c语言编程
  5. java代码杨辉三角_用java实现杨辉三角的示例代码
  6. jq 点击导航添加背景_jq入门(2)css选择符
  7. “@react-navigation/native“).createNavigatorFactory) is not a function.
  8. 简单上手腾讯X5页面浏览
  9. php存储session更改,php如何修改SESSION的生存存储时间的实例代码_php实例
  10. Scrapy爬虫(8)scrapy-splash的入门