背景

线上有一套数据库业务迁移走一段时间，过了一周业务又接入进来，运行几分钟后突然出现数据库10秒左右无法写入，上去排查发现此时出现了几百G binlog的过期删除

线上环境

mysql_version：oracle mysql-5.7.17

expire_logs_days = 5

max_binlog_size = 1G

疑问

1.binlog在什么时候会进行过期清理清理

2.为什么删除大量binlog期间会出现夯死数据库

3.如何避免binlog突然大量过期，在清理时影响线上业务

疑问1分析(binlog在什么时候会进行过期清理清理)

1.重启数据库实例

2.flush binary logs或者flush logs

3.组提交过程中检查binlog文件大小是否 >= 设置的max_binlog_size

疑问2分析(为什么binlog过期期间会夯死数据库)

以下为简化版代码：

MYSQL_BIN_LOG::rotate_and_purge

mysql_mutex_lock(&LOCK_log); /*持锁期间不可写入*/

error= rotate(force_rotate, &check_purge);

mysql_mutex_unlock(&LOCK_log);

purge(); /*如果需要则执行purge*/

if (expire_logs_days)

time_t purge_time= my_time(0) - expire_logs_days*24*60*60;

if (purge_time >= 0)

purge_logs_before_date(purge_time, true);

mysql_mutex_lock(&LOCK_index);

while (strcmp(log_file_name, log_info.log_file_name))

if (stat_area.st_mtime < purge_time) /*stat_area.st_mtime为文件mtime*/

no_of_log_files_purged++ ／*获取需要purged的所有log*／

purge_logs

error=remove_logs_from_index(&log_info, need_update_threads) /*先将要删除的binlog从binlogindex中删除*/

global_sid_lock->wrlock(); /*持锁期间不可写入*/

error= init_gtid_sets(xxxx /*收集gtid，更新gtid_purged*/

global_sid_lock->unlock();

error_index= purge_index_entry(thd, decrease_log_space, false/*need_lock_index=false*/))

for (;;)

if (!mysql_file_delete(key_file_binlog, log_info.log_file_name, MYF(0))) /*删除binlogfile，如果积累很多binlog很容会占用大量的磁盘io，虽然此时可以写入但是也会影响业务*/

mysql_mutex_unlock(&LOCK_index);

概括：

1)在日志切换期间需要获取全局mutex，此时数据库无法写入

2)收集所有要清理binlog文件中的gtid，并维护到gtid_purged，期间无法写入

3)删除binlog文件操作涉及到剧烈io波动，如果文件数很多，需要花费较长的时间，此时会影响业务的响应时间

疑问3分析(如何避免binlog突然大量过期，在清理时影响线上业务)

思路：从疑问1了解binlog过期删除必须满足这三个触发点的任意一个，否则不会进行过期清理，MySQL这种实现方式有待于优化，对于目前这种情况可以通过以下2种方式实现：

1.DBA手动检查过期binlog，如果过期就删除(flush/purge)

2.更改mysql代码，增加其定时器实现检查binlog expire逻辑及使用

if (DBUG_EVALUATE_IF("force_rotate", 1, 0) || (do_rotate && thd->commit_error == THD::CE_NONE))

{

DEBUG_SYNC(thd, "ready_to_do_rotation");

bool check_purge= false;

mysql_mutex_lock(&LOCK_log);

int error= rotate(false, &check_purge);

mysql_mutex_unlock(&LOCK_log);

if (error)

thd->commit_error= THD::CE_COMMIT_ERROR;

else if (check_purge)

purge();

} else{

/*add gaochao all else,only check purge not rotate; */

if (((my_time(0) - gaochao_expire_binlog_reset_check_time) > opt_nucc_binlog_expire_check_interval) && (opt_nucc_binlog_expire_check_interval != 0)){

purge();

gaochao_expire_binlog_reset_check_time= my_time(0);

}

}

# nucc_binlog_expire_check_interval为0表示不启用该功能，否则为间隔检查时间

mysql> show variables like '%nucc%';

+-----------------------------------+-------+

| Variable_name | Value |

+-----------------------------------+-------+

| nucc_binlog_expire_check_interval | 0 |

+-----------------------------------+-------+

mysql> set global nucc_binlog_expire_check_interval=600;

Query OK, 0 rows affected (0.00 sec)

mysql> show global variables like '%nucc%';

+-----------------------------------+-------+

| Variable_name | Value |

+-----------------------------------+-------+

| nucc_binlog_expire_check_interval | 600 |

+-----------------------------------+-------+

1 row in set (0.01 sec)

mysql>