MySQL 大字段的DDL操作:加减字段、索引、修改字段属性等,在5.1之前都是非常耗时耗力的,特别是会对MySQL服务产生影响。在5.1之后随着Plugin Innodb的出现在线加索引的提高了很多,但是还会影响(时间缩短了),主要是出现了MDL锁。不过5.6可以避免上面的情况,但目前大部分在用的版本都是5.6之前的。

工作原理:

模仿MySQL的alter,但不同的是在alter操作更改表结构的时候不用锁定表,也就是说执行alter的时候不会阻塞写和读取操作,客户端可以继续都和修改数据。注意执行这个工具的时候必须做好备份,操作之前最好详细读一下官方文档。

1、如果存在外键,根据alter-foreign-keys-method参数的值,检测外键相关的表,做相应设置的处理。没有使用 --alter-foreign-keys-method 指定特定的值,该工具不予执行
2、创建一个新的表,表结构为修改后的数据表,用于从源数据表向新表中导入数据。
3、创建触发器,用于记录从拷贝数据开始之后,对源数据表继续进行数据修改的操作记录下来,用于数据拷贝结束后,执行这些操作,保证数据不会丢失。如果表中已经定义了触发器这个工具就不能工作了。
4、拷贝数据,从源数据表中拷贝数据到新表中。
5、修改外键相关的子表,根据修改后的数据,修改外键关联的子表。
6、rename源数据表为old表,把新表rename为源表名,并将old表删除。
7、删除触发器。

#####关键参数介绍,有些参数的使用根据实际来应用,符合自己场景即可。

--user:

-u,连接的用户名

--password:

-p,连接的密码

--database:

-D,连接的数据库

--port

-P,连接数据库的端口

--host:

-h,连接的主机地址

--socket:

-S,连接的套接字文件

--ask-pass

隐式输入连接MySQL的密码

--charset

指定修改的字符集

--defaults-file

-F,读取配置文件

--alter:

结构变更语句,不需要alter table关键字。可以指定多个更改,用逗号分隔。如下场景,需要注意:

不能用RENAME来重命名表。

列不能通过先删除,再添加的方式进行重命名,不会将数据拷贝到新列。

如果加入的列非空而且没有默认值,则工具会失败。即其不会为你设置一个默认值,必须显示指定。

删除外键(drop foreign key constrain_name)时,需要指定名称_constraint_name,而不是原始的constraint_name。

如:CONSTRAINT `fk_foo` FOREIGN KEY (`foo_id`) REFERENCES `bar` (`foo_id`),需要指定:--alter "DROP FOREIGN KEY _fk_foo"

--alter-foreign-keys-method

如何把外键引用到新表?需要特殊处理带有外键约束的表,以保证它们可以应用到新表.当重命名表的时候,外键关系会带到重命名后的表上。

该工具有两种方法,可以自动找到子表,并修改约束关系。

auto: 在rebuild_constraints和drop_swap两种处理方式中选择一个。

rebuild_constraints:使用 ALTER TABLE语句先删除外键约束,然后再添加.如果子表很大的话,会导致长时间的阻塞。

drop_swap: 执行FOREIGN_KEY_CHECKS=0,禁止外键约束,删除原表,再重命名新表。这种方式很快,也不会产生阻塞,但是有风险:

1, 在删除原表和重命名新表的短时间内,表是不存在的,程序会返回错误。

2, 如果重命名表出现错误,也不能回滚了.因为原表已经被删除。

none: 类似"drop_swap"的处理方式,但是它不删除原表,并且外键关系会随着重命名转到老表上面。

--[no]check-alter

默认yes,语法解析。配合--dry-run 和 --print 一起运行,来检查是否有问题(change column,drop primary key)。

--max-lag

默认1s。每个chunk拷贝完成后,会查看所有复制Slave的延迟情况。要是延迟大于该值,则暂停复制数据,直到所有从的滞后小于这个值,使用Seconds_Behind_Master。如果有任何从滞后超过此选项的值,则该工具将睡眠--check-interval指定的时间,再检查。如果从被停止,将会永远等待,直到从开始同步,并且延迟小于该值。如果指定--check-slave-lag,该工具只检查该服务器的延迟,而不是所有服务器。

--check-slave-lag

指定一个从库的DSN连接地址,如果从库超过--max-lag参数设置的值,就会暂停操作。

--recursion-method

默认是show processlist,发现从的方法,也可以是host,但需要在从上指定report_host,通过show slave hosts来找到,可以指定none来不检查Slave。

METHOD       USES

===========  ==================

processlist  SHOW PROCESSLIST

hosts        SHOW SLAVE HOSTS

dsn=DSN      DSNs from a table

none         Do not find slaves

指定none则表示不在乎从的延迟。

--check-interval

默认是1。--max-lag检查的睡眠时间。

--[no]check-plan

默认yes。检查查询执行计划的安全性。

--[no]check-replication-filters

默认yes。如果工具检测到服务器选项中有任何复制相关的筛选,如指定binlog_ignore_db和replicate_do_db此类。发现有这样的筛选,工具会报错且退出。因为如果更新的表Master上存在,而Slave上不存在,会导致复制的失败。使用–no-check-replication-filters选项来禁用该检查。

--[no]swap-tables

默认yes。交换原始表和新表,除非你禁止--[no]drop-old-table。

--[no]drop-triggers

默认yes,删除原表上的触发器。 --no-drop-triggers 会强制开启 --no-drop-old-table 即:不删除触发器就会强制不删除原表。

--new-table-name

复制创建新表的名称,默认%T_new。

--[no]drop-new-table

默认yes。删除新表,如果复制组织表失败。

--[no]drop-old-table

默认yes。复制数据完成重命名之后,删除原表。如果有错误则会保留原表。

--max-load

默认为Threads_running=25。每个chunk拷贝完后,会检查SHOW GLOBAL STATUS的内容,检查指标是否超过了指定的阈值。如果超过,则先暂停。这里可以用逗号分隔,指定多个条件,每个条件格式: status指标=MAX_VALUE或者status指标:MAX_VALUE。如果不指定MAX_VALUE,那么工具会这只其为当前值的120%。

--critical-load

默认为Threads_running=50。用法基本与--max-load类似,如果不指定MAX_VALUE,那么工具会这只其为当前值的200%。如果超过指定值,则工具直接退出,而不是暂停。

--default-engine

默认情况下,新的表与原始表是相同的存储引擎,所以如果原来的表使用InnoDB的,那么新表将使用InnoDB的。在涉及复制某些情况下,很可能主从的存储引擎不一样。使用该选项会默认使用默认的存储引擎。

--set-vars

设置MySQL变量,多个用逗号分割。默认该工具设置的是: wait_timeout=10000 innodb_lock_wait_timeout=1 lock_wait_timeout=60

--chunk-size-limit

当需要复制的块远大于设置的chunk-size大小,就不复制.默认值是4.0,一个没有主键或唯一索引的表,块大小就是不确定的。

--chunk-time

在chunk-time执行的时间内,动态调整chunk-size的大小,以适应服务器性能的变化,该参数设置为0,或者指定chunk-size,都可以禁止动态调整。

--chunk-size

指定块的大小,默认是1000行,可以添加k,M,G后缀.这个块的大小要尽量与--chunk-time匹配,如果明确指定这个选项,那么每个块就会指定行数的大小.

--[no]check-plan

默认yes。为了安全,检查查询的执行计划.默认情况下,这个工具在执行查询之前会先EXPLAIN,以获取一次少量的数据,如果是不好的EXPLAIN,那么会获取一次大量的数据,这个工具会多次执行EXPALIN,如果EXPLAIN不同的结果,那么就会认为这个查询是不安全的。

--statistics

打印出内部事件的数目,可以看到复制数据插入的数目。

--dry-run

创建和修改新表,但不会创建触发器、复制数据、和替换原表。并不真正执行,可以看到生成的执行语句,了解其执行步骤与细节。--dry-run与--execute必须指定一个,二者相互排斥。和--print配合最佳。

--execute

确定修改表,则指定该参数。真正执行。--dry-run与--execute必须指定一个,二者相互排斥。

--print

打印SQL语句到标准输出。指定此选项可以让你看到该工具所执行的语句,和--dry-run配合最佳。

--progress

复制数据的时候打印进度报告,二部分组成:第一部分是百分比,第二部分是时间。

--quiet

-q,不把信息标准输出。

实践过程:(这里需要注意字段之间的空格,只能有一个空格,多了会出问题哦)

##检验是否有问题,具体可以看dry-run的解释

[root@mysql-server01 dbbackup]# pt-online-schema-change -u dlan -h 172.16.10.60 -p root123 -P 3306 --alter="add column route_data_storage_mode1 tinyint(3)UNSIGNED DEFAULT 0 after travel_route" D=log,t=bike_use_record_detail --charset=utf8 --no-version-check --no-drop-old-table --statistics --critical-load="Threads_running:200" --max-load="Threads_running=25" --print --dry-run

执行效果:

##执行过程,在前面加个time,可以统计最后的执行时间

[root@mysql-server01 dbbackup]#time pt-online-schema-change -u dlan -h 172.16.10.60 -p root123 -P 3306 --alter="add column route_data_storage_mode1 tinyint(3)UNSIGNED DEFAULT 0 after travel_route" D=log,t=bike_use_record_detail --charset=utf8 --no-version-check --no-drop-old-table --statistics --critical-load="Threads_running:200" --max-load="Threads_running=25" --print --execute

执行效果:

##使用PT-OSC的时候:

1、不建议在执行一半的时候突然中止,会导致数据数据异常,因为不会删除触发器

2、只能执行单事务,因为使用的触发器

3、若开启事务,会导致执行的延迟

4、在执行到99%的时候非常慢,可以通过show full processlist 查看数据加载到哪,详细信息里有id值

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_36135773/article/details/78816488

转载于:https://www.cnblogs.com/DataArt/p/10095577.html

pt-osc全解pt-online-schema-change相关推荐

  1. quartz mysql索引_分布式系统中的定时任务全解(二)

    在实际项目中,通常需要用到定时任务(定时作业),spring框架提供了很好的实现. 1.  下载spring-quartz插件包 这里默认当前系统中是集成了spring框架的基本功能的.去网上下载sp ...

  2. Oracle数据字典全解 (1)

    Oracle数据字典全解 2011-08-18 20:59:41|  分类: Oracle |  标签:oracle   |字号 订阅 一.概念: 1.数据字典(data dictionary)是 O ...

  3. Doris之Schema Change

    Doris之Schema Change 用户可以通过 Schema Change 操作来修改已存在表的 Schema.目前 Doris 支持以下几种修改: 增加.删除列 修改列类型 调整列顺序 增加. ...

  4. c#zip压缩解压缩全解

    全栈工程师开发手册 (作者:栾鹏) c#教程全解 c#实现文件或文件夹的zip格式的压缩解压缩. 需要引入ICSharpCode.SharpZipLib.dll链接库,下载 测试代码 static v ...

  5. js系列教程7-DOM操作全解

    全栈工程师开发手册 (作者:栾鹏) 快捷链接: js系列教程1-数组操作全解 js系列教程2-对象和属性全解 js系列教程3-字符串和正则全解 js系列教程4-函数与参数全解 js系列教程5-容器和算 ...

  6. jquery系列教程4-事件操作全解

    点击打开: jquery系列教程1-选择器全解 jquery系列教程2-style样式操作全解 jquery系列教程3-DOM操作全解 jquery系列教程4-事件操作全解 jquery系列教程5-动 ...

  7. Mybatis系列全解(四):全网最全!Mybatis配置文件XML全貌详解

    封面:洛小汐 作者:潘潘 做大事和做小事的难度是一样的.两者都会消耗你的时间和精力,所以如果决心做事,就要做大事,要确保你的梦想值得追求,未来的收获可以配得上你的努力. 前言 上一篇文章 <My ...

  8. latex参考文献居中_Latex排版全解

    Latex排版全解 LATEX(英语发音:/ˈleɪtɛk/ LAY-tek或英语发音:/ˈlɑːtɛk/ LAH-tek,音译"拉泰赫"),是一种基于TEX的排版系统,由美国电脑 ...

  9. lisp调用qleader端点_CAD常用命令大全全解.doc

    CAD常用命令大全全解 1.3darray 3a 三维阵列 2.3dclip 设置剪切平面位置 3.3dcorblt 继续执行3DORBIT命令 4.3DDISTANCE 距离调整 5.3DFACE ...

  10. 一般将来时语法课教案_「英语语法」一般过去时用法技巧全解

    大家好,我是教课蚪英语的张老师,今天我们来学习英语语法100讲的第一课,一般过去时! 一.首先我们了解一下什么是一般过去时? 英语语法 1. 概念: 描述过去的状态或过去的动作. 在英语中,非现在的以 ...

最新文章

  1. opencv gpu cuda项目整理
  2. Sharepoint 2010 新特性笔记
  3. Android系统修改硬件设备访问权限
  4. ELK之filebeat、logstash多个topic配置
  5. GridCtrl学习笔记(2)寻找自动更新表格的最新数据并把其显示到当前窗口的方法...
  6. Python简单的抓取静态网页内容
  7. 白鹭引擎定时器代码实例
  8. 一文快速探索视频用户网络画像与应用
  9. 国际自主智能机器人大赛强势来袭,NAACL同声传译任务等你来战
  10. 个人如何申请支付宝支付接口(免签约支付)
  11. 白话 贝叶斯公式_[白话解析] 深入浅出朴素贝叶斯模型原理及应用
  12. 新型冠状肺炎——这个不一般的春节
  13. 华为高管丁耘跑28公里后突发疾病去世:在公司工作26年
  14. 如何半小时免费搭建NGINX网站?
  15. 心得分享——c语言如何将多个字符串赋值给字符串数组(即c语言如何输入并储存多个字符串)
  16. HEVC(H.265) 基础知识
  17. 安服仔10大灵魂拷问
  18. 2021-03-4:task04_NFM模型
  19. ios 倒数器_Clover旗下iOS应用Widgets全线更新:倒数器、新闻画报、全球天气
  20. NLP实践——VQA/Caption生成模型BLIP-2的应用介绍

热门文章

  1. C# Linq to sql 实现 group by 统计多字段 返回多字段
  2. 【并行计算-CUDA开发】CUDA编程——GPU架构,由sp,sm,thread,block,grid,warp说起...
  3. ajax 调用asp.net后台方法
  4. Java中异常处理和设计
  5. 老板凭啥提拔你:如何得到老板赏识
  6. WWW'22 | 信息检索方向值得一读的3篇论文详解
  7. 【ACL2021】BERT也能做生成?利用多个BERT模型分离对话生成和对话理解
  8. 【激活函数】深度学习领域最常用的10个激活函数,一文详解数学原理及优缺点...
  9. 【数学基础】特征值,特征向量与SVD奇异值分解
  10. 实习、竞赛、论文?关于计算机读研的一些小建议!