前言

什么是binlog

mysql中有各种类型的日志，记录了mysql包括启动、运行、连接、更改等各种操作，而binlog就是其中最重要的一种日志，它记录了MySQL所有数据的变更，并以二进制的形式存储在磁盘上

binlg记录了所有的表结构变更（CREATE、ALTER TABLE…）以及表数据修改（INSERT、UPDATE、DELETE…），以事件形式记录，还包含语句所执行的消耗的时间

官网对事件的解释为：二进制日志中存储的内容称之为事件，每一个数据库更新操作(Insert、Update、Delete，不包括Select)等都对应一个事件

binlog 的主要目的是复制和恢复。通过binlog就可以将一个MySQL数据库服务器（master) 的数据复制到一个或多个其他MySQL数据库服务器（slave)，以实现灾难恢复、水平扩展、统计分析、远程数据分发等功能。

通过binlog就可以实现mysql和其他组件的数据对接

使用方式

开启binlog

首先查看mysql是否开启binlog同步功能

show variables like 'log_bin';

默认是关闭的，此时需要开启，就要编辑mysql的配置文件，正常是在etc目录下

如果没有就先用 which mysqld查看位置

vi /etc/my.cnf

修改my.cnf配置

mysqld]# 开启binloglog-bin = mysql-bin

也可以通过 SET SQL_LOG_BIN=1 命令来启用 binlog，通过 SET SQL_LOG_BIN=0 命令停用 binlog。

不过启用 binlog 之后须重启MySQL才能生效

常用的binlog命令

# 是否启用binlog日志show variables like 'log_bin';
# 查看详细的binlog日志配置信息show global variables like '%log%';
# 查看binlog的目录show global variables like "%log_bin%";
# 查看binlog文件日志列表show binary logs;
# 查看最新一个binlog日志文件名称和Position（操作事件pos结束点）show master status;
# 刷新log日志，自此刻开始产生一个新编号的binlog日志文件# 每当mysqld服务重启时，会自动执行此命令，刷新binlog日志；在mysqldump备份数据时加 -F 选项也会刷新binlog日志；flush logs;
# 查看第一个binlog文件内容show binlog events  
# 查看具体一个binlog文件的内容show binlog events in 'master.000001';
# 重置(清空)所有binlog日志reset master;
# 删除slave的中继日志reset slave;
# 删除指定日期前的日志索引中binlog日志文件purge master logs before '2022-02-22 00:00:00';
# 删除指定日志文件purge master logs to 'master.000001';

使用binlog

1.使用mysqlbinlog自带查看命令法：
注: binlog是二进制文件，普通文件查看器cat more vi等都无法打开，必须使用自带的 mysqlbinlog 命令查看，binlog日志在同目录的data下

比如我刚刚建了一个表

CREATE TABLE IF NOT EXISTS `fungmu_table`(   `id` INT UNSIGNED AUTO_INCREMENT,   `name` VARCHAR(100) NOT NULL,   `age` VARCHAR(40) NOT NULL,   `create_date` DATE,   PRIMARY KEY ( `id` ))ENGINE=InnoDB DEFAULT CHARSET=utf8;

然后使用命令

mysqlbinlog /usr/local/mysql/data/mysql-bin.000001

...............................................................................SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;# at 423#220224 22:23:40 server id 1  end_log_pos 738 CRC32 0x90972f69  Query thread_id=7 exec_time=0 error_code=0 Xid = 13use `funmu`/*!*/;SET TIMESTAMP=1645712620/*!*/;/*!80013 SET @@session.sql_require_primary_key=0*//*!*/;CREATE TABLE IF NOT EXISTS `fungmu_table`(   `id` INT UNSIGNED AUTO_INCREMENT,   `name` VARCHAR(100) NOT NULL,   `age` VARCHAR(40) NOT NULL,   `create_date` DATE,   PRIMARY KEY ( `id` ))ENGINE=InnoDB DEFAULT CHARSET=utf8/*!*/;SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/;DELIMITER ;...............................................................................server id 1     数据库主机的服务号；end_log_pos 738 pos点

2.mysql命令行

直接查看binlog日志的话全文内容较多，不容易分辨查看pos点信息，这时候可以使用mysql命令行

mysql> show binlog events [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count];

IN 'log_name' 指定要查询的binlog文件名(不指定就是第一个binlog文件)
FROM pos 指定从哪个pos起始点开始查起(不指定就是从整个文件首个pos点开始算)
LIMIT [offset,] 偏移量(不指定就是0)
row_count 查询总条数(不指定就是所有行)

Log_name: mysql-bin.000001  # pos起始点:Pos: 11197 # 事件类型：QueryEvent_type: Query # 标识是由哪台服务器执行的Server_id: 1# pos结束点:11308(即：下行的pos起始点)End_log_pos: 11308# 执行的sql语句Info: use `fangmu`; INSERT INTO `fungmu_table` VALUES (1,'fangmu','18','2022-02-22')

Binlog 的日志格式

记录在二进制日志中的事件的格式取决于二进制记录格式。支持三种格式类型：

STATEMENT：基于SQL语句的复制（statement-based replication, SBR）

ROW：基于行的复制（row-based replication, RBR）

MIXED：混合模式复制（mixed-based replication, MBR）

在 MySQL 5.7.7 之前，默认的格式是 STATEMENT，在 MySQL 5.7.7 及更高版本中，默认值是 ROW。日志格式通过 binlog-format 指定，如 binlog-format=STATEMENT、binlog-format=ROW、binlog-format=MIXED。

Statement

每一条会修改数据的sql都会记录在binlog中

优点：不需要记录每一行的变化，减少了binlog日志量，节约了IO, 提高了性能。缺点：由于记录的只是执行语句，为了这些语句能在slave上正确运行，因此还必须记录每条语句在执行的时候的一些相关信息，以保证所有语句能在slave得到和在master端执行的时候相同的结果。另外mysql的复制，像一些特定函数的功能，slave与master要保持一致会有很多相关问题。

Row

5.1.5版本的MySQL才开始支持 row level 的复制,它不记录sql语句上下文相关信息，仅保存哪条记录被修改。

优点：binlog中可以不记录执行的sql语句的上下文相关的信息，仅需要记录那一条记录被修改成什么了。所以row的日志内容会非常清楚的记录下每一行数据修改的细节。而且不会出现某些特定情况下的存储过程，或function，以及trigger的调用和触发无法被正确复制的问题.

缺点:所有的执行的语句当记录到日志中的时候，都将以每行记录的修改来记录，这样可能会产生大量的日志内容。

注：将二进制日志格式设置为ROW时，有些更改仍然使用基于语句的格式，包括所有DDL语句，例如CREATE TABLE， ALTER TABLE，或 DROP TABLE。

Mixed

从5.1.8版本开始，MySQL提供了Mixed格式，实际上就是Statement与Row的结合。

在Mixed模式下，一般的语句修改使用statment格式保存binlog，如一些函数，statement无法完成主从复制的操作，则采用row格式保存binlog，MySQL会根据执行的每一条具体的sql语句来区分对待记录的日志形式，也就是在Statement和Row之间选择一种。

Binlog结构和内容

日志由一组二进制日志文件（Binlog）,加上一个索引文件（index）；Binlog是一个二进制文件集合，每个Binlog以一个4字节的魔数开头，接着是一组Events；

1.魔数：0xfe62696e对应的是0xfebin；

2.Event：每个Event包含header和data两个部分；header提供了Event的创建时间，哪个服务器等信息，data部分提供的是针对该Event的具体信息，如具体数据的修改；

3.第一个Event用于描述binlog文件的格式版本，这个格式就是event写入binlog文件的格式；

4.其余的Event按照第一个Event的格式版本写入；

5.最后一个Event用于说明下一个binlog文件；

6.Binlog的索引文件是一个文本文件，其中内容为当前的binlog文件列表

Binlog常用场景

1、mysql主从复制

2、mysql数据恢复

3、数据同步，比如基于Canal投递MySQL Binlog到kafka、elasticsearch

扫码关注我的微信公众号：Java架构师进阶编程 获取最新面试题，电子书

专注分享Java技术干货，包括JVM、SpringBoot、SpringCloud、数据库、架构设计、面试题、电子书等，期待你的关注！

MySQL最重要的日志-binlog详解相关推荐

mysql grep 提取错误日志_详解grep获取MySQL错误日志信息的方法
为方便维护MySQL,写了个脚本用以提供收集错误信息的接口.这些错误信息来自与MySQL错误日志,而通过grep mysql可以获取error-log的路径. 以下是全部相关代码: #!/usr/b ...
mysql insert 不需要日志_详解MySQL｜你不知道的新特性-8.0错误日志增强
MySQL 8.0 重新定义了错误日志输出和过滤,改善了原来臃肿并且可读性很差的错误日志. 比如增加了 JSON 输出,在原来的日志后面以序号以及 JSON 后缀的方式展示. 比如我机器上的 MySQ ...
mysql如何查看事务日记_MySQL日志查看详解
解决问题: 了解MySQL日志? 怎样查看错误日志? 怎样查看慢日志? 1. MySQL日志分类? MySQL日志主要包含:错误日志.查询日志.慢查询日志.事务日志.二进制日志. 1.1 错误日志: ...
Java监听mysql的binlog详解(mysql-binlog-connector)
Java监听mysql的binlog详解(mysql-binlog-connector) 1. 需求概述 2. 技术选型 3. 方案设计 3.环境准备 3.1 查看是否开启binlog 3.2 mys ...
mysql启动失败查看日志文件_mysql诊断启动问题、查看日志文件详解
诊断启动问题服务器启动问题通常在对MySQL配置或服务器本身进行更改时出现.MySQL在这个问题发生时报告错误,但由于多数MySQL服务器是作为系统进程或服务自动启动的,这些消息可能看不到. 在排除 ...
mysql启动参数(/etc/my.cnf)详解汇总
mysql启动参数(/etc/my.cnf)详解汇总 MYSQL–my.cnf配置中文详解 basedir = path 使用给定目录作为根目录(安装目录). character-sets-dir = ...
mysql切换用户sql语句,MySQL用户管理及SQL语句详解
[(none)]>select user,host frommysql.user; #查询用户和主机+---------------+-----------+ | user | host | + ...
mysql数据库表分区_MySQL数据库之MySQL的分区和分表详解
本文主要向大家介绍了MySQL数据库之MySQL的分区和分表详解 ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. 1. 分区 MySQL中的分区是指将一个数据表按照某种规则(如时 ...
linux下mysql数据库基础及客户端命令详解
linux下mysql数据库基础及客户端命令详解 1.mysql数据库存储引擎: SHOW ENGINES; #查看mysql支持的存储引擎常见有如下两个存储引擎: MyISAM:每表三个文件: ...

MySQL最重要的日志-binlog详解

前言