mysql cmd grep_通过 mysqlbinlog 和 grep 命令定位binlog文件中指定操作
1.binlog日志基本知识
MySQL的二进制日志binlog可以说是MySQL最重要的日志,它记录了所有的DDL和DML语句(除了数据查询语句select),以事件形式记录,还包含语句所执行的消耗的时间。
binlog有三种格式:Statement、Row以及Mixed。分别是:基于SQL语句的复制(statement-based replication,SBR)、 基于行的复制(row-based replication,RBR)和混合模式复制(mixed-based replication,MBR)。
格式
说明
优点
缺点
Statement模式
每一条会修改数据的sql语句都会记录到binlog中。
不需要记录每一行的变化,减少了binlog日志量,节约了IO,提高性能。
缺点是在某些情况下会导致master-slave中的数据不一致(如sleep()函数,last_insert_id(),以及user-defined functions(udf)等会出现问题)。
Row模式
不记录每条sql语句的上下文信息,仅需记录哪条数据被修改了,修改成什么样了。
而且不会出现某些特定情况下的存储过程、或function、或trigger的调用和触发无法被正确复制的问题。
新版本的MySQL中对row level模式也被做了优化,并不是所有的修改都会以row level来记录,像遇到表结构变更的时候就会以statement模式来记录,如果sql语句确实就是update或者delete等修改数据的语句,那么会记录所有行的变更。
任何情况都可以被复制,这对复制来说是最安全可靠的。多数情况下,从服务器上的表如果有主键的话,复制就会快了很多。
复制以下几种语句时的行锁更少:(1)INSERT ... SELECT;(2)包含 AUTO_INCREMENT 字段的 INSERT;(3)没有附带条件或者并没有修改很多记录的 UPDATE 或 DELETE 语句
执行INSERT,UPDATE,DELETE 语句时锁更少。从服务器上采用多线程来执行复制成为可能。
binlog 大了很多
复杂的回滚时 binlog 中会包含大量的数据
主服务器上执行 UPDATE 语句时,所有发生变化的记录都会写到 binlog 中,这会导致频繁发生 binlog 的并发写问题
UDF 产生的大 BLOB 值会导致复制变慢
无法从 binlog 中看到都复制了写什么语句
MIXED模式
实际上就是前两种模式的结合,在mixed模式下,mysql会根据执行的每一条具体的sql语句来区分对待记录的日志形式,也就是在statement和row之间选一种。
在Mixed模式下,一般的语句修改使用statment格式保存binlog,如一些函数,statement无法完成主从复制的操作,则采用row格式保存binlog,MySQL会根据执行的每一条具体的sql语句来区分对待记录的日志形式,也就是在Statement和Row之间选择一种。
2.查看Row模式和Statement模式的binlog
为了加深印象,下面我们看看两者模式下的binlog到底长什么样子。
2.1 测试案例
分别在Row模式 和Statement模式 下执行以下语句。
创建一张表
CREATE TABLE IF NOT EXISTS`tt` (
`id`int(10) unsigned NOT NULLAUTO_INCREMENT,
`name`varchar(16) NOT NULL,
`sex` enum('m','w') NOT NULL DEFAULT 'm',
`age`tinyint(3) unsigned NOT NULL,
`classid`char(6) DEFAULT NULL,PRIMARY KEY(`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
向表中insert 5笔数据
insert into zyyshop.tt(`name`,`sex`,`age`,`classid`) values('yiyi','w',20,'cls1'),('xiaoer','m',22,'cls3'),('zhangsan','w',21,'cls5'),('lisi','m',20,'cls4'),('wangwu','w',26,'cls6');
用一条SQL语句修改前两笔数据
update tt set name ='XXX' where id in (1,2);
在Row模式下形成的binlog文件为:mysql3306_bin.000011
在Statement模式下生成的binlog文件为:mysql3306_bin.000012。
2.2 用 show binlog events in 命令去查看分析2各个文件
查询Row模式记录如下:
查询Statement模式记录如下:
通过这个命令查看log,两者差距不大。
2.3 通过mysqlbinlog命令解析
执行的命令分别如下
指定路径/bin/mysqlbinlog --no-defaults --base64-output=decode-rows -v 指定路径/mysql_log/mysql3306_bin.000011
指定路径/bin/mysqlbinlog --no-defaults --base64-output=decode-rows -v 指定路径/mysql_log/mysql3306_bin.000012
我们可以看到Row模式下的binlog记录丰富的多,例如针对update的那条语句。
Row模式记录如下:
Statement模式记录如下:
总结:通过 show binlog events in 命令,查看 Row模式下记录 和 Statement模式下的记录,两者基本一致。通过 mysqlbinlog 可以查看binlog具体的信息。Row模式下的binlog记录比 Statement模式下丰富的多。
3. 通过 mysqlbinlog 和 grep 命令定位binlog文件中指定操作
既然binlog文件中有详细的操作信息,如果有人误操作,我们是否可以快速定位到对应操作信息呢?
快速定位可以帮助我们找到当时具体的操作是什么,也可以找到POS(position)点,方便精准恢复。
例如,书接上回,我们发现表 tt 不在了,被人删除了。ERROR 1146 (42S02): Table 'TestBinlog2.tt' doesn't exist。
那么我们就可以在binlog查找drop相关的操作,命令如下:
指定路径/bin/mysqlbinlog --no-defaults --base64-output=decode-rows -v 指定路径/mysql_log/mysql3306_bin.000012 | grep drop
可惜没有数据,这是什么情况呢?不应该啊!!!
会不会大小写的问题?那么命令修改如下:
指定路径/bin/mysqlbinlog --no-defaults --base64-output=decode-rows -v 指定路径/mysql_log/mysql3306_bin.000012 | grep -i drop
找到了,但是信息不是很完整,我们可不可以找到,这条命令的更信息信息呢?例如,drop 前后各10条数据。
指定路径/bin/mysqlbinlog --no-defaults --base64-output=decode-rows -v 指定路径/mysql_log/mysql3306_bin.000012 | grep -i -A 10 -B 10 drop
这正是我们想要的,完美!
4. 其它知识补充
4.1 mysqlbinlog工具
此处主要讲解用于查看binglog日志的部分参数,用于还原binlog的参数在此不细讲。
mysqlbinlog工具参数说明【用于查看的部分】
参数
说明
-base64-output
inlog输出语句的base64解码 分为三类:
默认是值auto ,仅打印base64编码的需要的信息,如row-based 事件和事件的描述信息。
never 仅适用于不是row-based的事件
decode-rows 配合--verbose选项一起使用解码行事件到带注释的伪SQL语句
--verbose
重新构建伪SQL语句的行信息输出, -v会增加列类型的注释信息。
--database=name
列出数据库的名称(仅限binlog文件存储在本地)
4.2 grep 命令
grep是一个强大的文本搜索工具命令,用于查找文件中符合指定格式的字符串,支持正则表达式。
grep命令常用参数说明
参数
说明
-A
除了显示符合条件的那一行之外,并显示该列之后的指定行的内容内容。
-B
除了显示符合条件的那一行之外,并显示该列之前的指定行的内容内容。
-c
计算符合结果的行数。
-i
忽略字符大小写
-v
反向查找
-e
按指定字符串查找
-E
按指定字符串指定的正则查找
-n
在显示符合条件的那一行前,标识出该行的行数标号。
mysql cmd grep_通过 mysqlbinlog 和 grep 命令定位binlog文件中指定操作相关推荐
- mysql binlog grep_通过mysqlbinlog和grep命令定位binlog文件中指定操作
1.binlog日志基本知识 MySQL的二进制日志binlog可以说是MySQL最重要的日志,它记录了所有的DDL和DML语句(除了数据查询语句select),以事件形式记录,还包含语句所执行的消耗 ...
- python虚拟环境virtualenvwrapper workon命令在sh文件中无法生效的解决方法
问题: workon在终端可以运行,可以看见找到了相关的虚拟环境 但是将workon命令写入sh文件后,如下图示,运行sh文件会提示workon: command not found 如何解决该问题: ...
- Linux中利用grep命令如何检索文件内容详解
前言 Linux系统中搜索.查找文件中的内容,一般最常用的是grep命令,另外还有egrep命令,同时vi命令也支持文件内容检索.下面来一起看看Linux利用grep命令检索文件内容的详细介绍. 方法 ...
- cmd查看所有数据库 db2_db2常用命令大全 db2数据库中的操作命令
类型:反编译(译逆工程)大小:1.8M语言:中文 评分:5.0 标签: 立即下载 DB2 常用命令,对于使用db2的朋友可以参考下.管理客户端从v9.7版本之后就不再带有控制中心了,而是使用 Data ...
- mysql存储登录密码_当密码存储在选项文件中时,MySQL拒绝登录尝试
第一: >我们正在运行MySQL 5.7.13. >操作系统是Red Hat Enterprise Linux 7.2. >首先使用Python / Connector 2.1.3发 ...
- 使用jar命令替换jar包中指定文件
一.jar命令用法 -c 创建新的归档文件-t 列出归档目录和文件-x 解压缩已归档的指定(或所有)文件-u 更新现有的归档文件-v 在标准输出中生成详细输出 / 提供更详细输出信息-f 指定归档文件 ...
- Linux中通过命令直接删除文件中最后一行
何谓Sed(Stream EDitor): Sed原为UNIX系统上的非交谈式文字编辑器(non-interactive stream editor).当Sed读入待编辑文件,会依编辑命令来进行文件的 ...
- 一行命令从 APK 文件中提取 Endpoint 及 URL
做IoT的人免不了要接触Android,接触Android的人又免不了要研究别人的App应用. Diggy,一款能够从 apk 文件中提取 endpoint 及 URL 的工具,只要一行命令就可以帮大 ...
- Linux使用sed命令删除文件中指定内容
因为日志文件太大,希望删除过早的一部分日志,虽然可以用vi或vim打开后删除,但是因为文件很大,打开就很耗时. 因此打算使用sed命令,在不打开文件的情况下删除,但是删除后需要把内容存入一个新文件中, ...
最新文章
- Oauth2认证以及新浪微博开放平台应用
- 硬盘最多能分几个区?
- JSP RequestDispatcher servlet之间传参
- Unity版本使用情况统计报告
- Oracle 备份还原
- 长安大学第三届ACM-ICPC程序设计竞赛 L题
- matlab png转02,matlab把图片pgm格式转换成png格式
- HALCON示例程序classify_image_class_mlp.hdev如何使用MLP分类器分割RGB图像
- fdtd中时间监视器怎么放_利用FDTD软件仿真拓扑光子(六)-单向传播仿真与软件设置...
- 关于微信浏览器H5 React,Vue工程化项目input无法自动聚焦疑难杂症排查
- HTML中select的option设置selected=“selected“无效的解决方案
- SQL--“索引超出了数组界限”
- 如何用计算机模拟光的传播,菲涅尔计算全息干涉图的制作与模拟再现.doc
- STM32笔记之 PWM(脉宽调制)
- 数学建模-层次分析法(AHP)方法回顾
- 从零起步做到Linux运维经理,你必须管好的23个细节
- maya2020 redshift3.0.31demo版安装方法。
- MP4文件格式简要解析---代码解析
- 梦幻西游手游服务器维护时间表,梦幻西游手游4月17日维护更新公告
- 【工利其器】必会工具之 Source Insight篇
热门文章
- 【redis】redis 各种数据类型应用和实现方式
- 【kafka】WARN Attempting to send response via channel for which there is no open connection
- 【Elasticsearch】Meltdown对Elasticsearch性能的影响
- 【Kafka】kafka 根据 ConsumerOffsetChecker获取group当前消费情况
- 【zookeeper】Zk创建空节点 不带数据的
- Spring Boot : SpringApplicationRunListener
- 95-30-025-java.util-AbstractMap
- 从源码角度解析ArrayList.subList的几个坑
- Druid:数据库连接池实现技术,由阿里巴巴提供的
- html关于计时的函数,关于JavaScript获取时间函数及实现倒计时