MySQL集群节点宕机,数据库脑裂!如何排障?
作者介绍
王晶,中国移动DBA,负责“移动云”业务系统的数据库集成架构设计、运维、优化等工作;擅长技术领域MySQL,获Oracle颁发的“MySQL DBA”官方认证,熟悉MySQL复制结构、MHA、cluster等多种架构及运维优化。
发现故障的时间正值大年初二,在各种铺天盖地的拜年信息和微信红包之中,我发现了手机上的这条告警通知:
PROBLEM:Disaster: Galera cluster has node down。我生产环境的Galera集群有一个节点宕机了。
可能有的人不太熟悉MySQL Galera集群,下面先介绍一下出故障的集群信息。
PXC:
我们生产上用的是Percona的一个MySQL分支版本,PerconaXtradb Cluster,简称PXC,这是一个可以实时同步的MySQL集群,基于广播write set和事务验证来实现多节点同时commit,冲突事务回滚的功能。强数据一致性保证。
Galera Replication原理总结:
1. 事务在本地节点执行时采取乐观策略,成功广播到所有节点后再做冲突检测;
2. 检测出冲突时,本地事务优先被回滚;
3. 每个节点独立、异步执行队列中的WS;
4. 事务T在A节点执行成功返回客户端后,其他节点保证T一定会被执行,因此有可能存在延迟,即虚拟同步。
Galera复制的架构图:
Galera flow control:
Galera是同步复制(虚拟同步)方案,事务在本地节点(客户端提交事务的节点)上提交成功时,其它节点保证执行该事务。在提交事务时,本地节点把事务复制到所有节点,之后各个节点独立异步地进行certification test、事务插入待执行队列、执行事务。然而,由于不同节点之间执行事务的速度不一样,长时间运行后,慢节点的待执行队列可能会越积越长,最终可能导致事务丢失。
Galera内部实现了flow control,作用就是协调各个节点,保证所有节点执行事务的速度大于队列增长速度,从而避免丢失事务。
实现原理很简单。整个Galera Cluster中,同时只有一个节点可以广播消息(数据),每个节点都会获得广播消息的机会(获得机会后也可以不广播),当慢节点的待执行队列超过一定长度后,它会广播一个FC_PAUSE消息,所以节点收到消息后都会暂缓广播消息,直到该慢节点的待执行队列长度减小到一定长度后,Galera Cluster数据同步又开始恢复。
搞清楚上面的背景原理之后,继续说明我的排障过程。
问题描述
1月29日早10点08分接收到Zabbix告警信息,生产环境某子系统数据库集群节点1、2分别报活跃线程数超阀值,而且不断升高。
从业务侧尝试访问了一下该子系统,发现系统页面一直无法正常查询数据及修改数据。登陆服务器查看CPU、IO、内存情况均空闲。说明累计的活跃线程过高,已经影响到业务的正常访问了。
问题分析
1、登陆Zabbix告警节点1、2查看数据库show global status like ‘Threads_running’情况发现Threads_running线程不断增高。
节点1:
| Threads_running| 100 |
节点2:
| Threads_running| 110 |
2、继续查看节点1、2数据库的show processlist的情况,发现存在很多线程停在wsrep in pre-commit stage状态(这意味着很多线程已经在节点发出commit,但将该SQL发送到其他节点是处于独立异步地进行certification test、事务插入待执行队列的状态)。这里就明了为什么会有活跃线程不断增加了,原来是线程都停留在wsrep in pre-commit stage状态。
3、进一步查找为什么会有线程一直停留在wsrep in pre-commit stage状态,show global status like ‘%wsrep%’,发现1、2节点接受队列并无阻塞,也没有发出流控。
但wsrep_evs_delayed报节点3的4567端口连接延迟。查看节点1、2错误日志发现报“WSREP: (40a252ac, ‘tcp://节点2:4567’) reconnecting to 67f667d2 (tcp://节点3:4567), attempt 0”。查看节点3的错误日志与wsrep_evs_delayed运行参数则报相反信息,连接节点1和节点2的4567端口延迟。
这里需要解释一下4567端口的作用(wsrep_provider_options中的gmcast.listen_addr项:主要作用是集群内监听组员状态,组员之间的通信(握手,鉴权,广播,写入集的复制)。
此时,问题原因已经明朗了,因为节点3与节点1、2的4567端口一直连接有延迟,所以在节点1、2执行的请求无法及时的复制给节点3执行,导致节点1、2的活跃线程一直执行不完。
节点1:
+——————————+————-+
| Variable_name | Value |
+——————————+————-+
| wsrep_local_recv_queue | 0 |
| wsrep_local_recv_queue_avg | 0.008711 |
| wsrep_flow_control_paused | 0.000000 |
| wsrep_flow_control_sent | 0 |
| wsrep_flow_control_recv | 0 |
| wsrep_evs_delayed | 节点3:4567 |
+——————————+————-+
节点2:
+——————————+————-+
| Variable_name | Value |
+——————————+————-+
| wsrep_local_recv_queue | 0 |
| wsrep_local_recv_queue_avg | 0.006193 |
| wsrep_flow_control_paused | 0.000000 |
| wsrep_flow_control_sent | 0 |
| wsrep_flow_control_recv | 0 |
| wsrep_evs_delayed |节点3:4567 |
+——————————+————-+
4、因查询数据库状态除wsrep_evs_delayed报连接延迟,其他并无异常现象,初步怀疑是网络原因造成,排查网络后,发现是因核心交换机与接入交换机之间的光模块损坏导致丢包,所以影响部分数据库集群之间的通信,才会出现以上问题。
在网络修复期间,因数据库集群节点3延迟丢包严重,被数据库集群仲裁后踢出了集群,剩余的节点1和节点2在运行了大约半小时后也因延迟丢包严重,出现了脑裂现象。
这时紧急将数据库集群3个节点关闭,然后在每个节点执行mysqld_safe –wsrep-recover命令找出最新事务号节点作为主节点启动,并在故障期间保持单节点运行。待网络故障消除后,逐一启动节点2、3,系统数据库集群恢复正常。
问题回顾
1、 在PXC环境中,如果集群各个节点的通信端口(4567)因为网络的原因出现异常(因为集群节点间通信采用的是同一网段,因此是共性的原因),应及时采取相应措施防止脑裂情况出现。例如上面故障中,因网络原因导致集群节点数从3个变为2个,这时就应该及时地关闭剩余2个节点中的一个节点,让业务只跑在单节点上,还能避免出现脑裂的情况。至少业务不会因此终断。
否则剩余的两个节点很快也会被网络丢包拖垮,会导致整个集群都停止服务,影响业务。当然在非多主的集群中也可以通过设置“SET GLOBAL wsrep_provider_options=’pc.ignore_sb=true’;”来取消集群判断脑裂的情况(多主环境中不建议使用)。
2、可以将wsrep_evs_delayed作为一个监控项进行监控,并结合网络监控进行适当的告警
转载于:https://www.cnblogs.com/syncnavigator/p/10189311.html
MySQL集群节点宕机,数据库脑裂!如何排障?相关推荐
- redis集群节点宕机 fail状态 redis的投票机制实测
redis集群节点宕机 fail状态 redis的投票机制实测 redis集群是有很多个redis一起工作,那么就需要这个集群不是那么容易挂掉,所以呢,理论上就应该给集群中的每个节点至少一个备用的r ...
- MySQL集群节点参数说明
1. 定义MySQL集群管理服务器 [NDB_MGMD]部分(或其别名[MGM])用于配置管理服务器的行为.下面列出的所有参数均能被忽略,如果是这样,将使用其默认值.注释:如果ExecuteOnCom ...
- springboot整合redis集群master宕机后连接超时
前提: # 本文是在确保redis集群配置正确的情况下,连接超时的解决方案. 项目登录认证使用的是sa-token(这个不重要,主要说的是springboot和redis集群),最近应甲 ...
- mysql集群集成springboot_springboot配置数据库包括集群下 配置
首先准备数据库的必要信息. 查询当前数据库实例名 方法一:select instance_name from v$instance; 方法二:show parameter instance 查询数据库 ...
- mysql启动集群报连接本地失败_Docker的mysql集群节点可以正常创建,但无法正常连接到宿主机的mysql应该如何解决?...
拉取Docker镜像:在宿主机上执行命令docker pull ubuntu:14.04从远端仓库中获取Ubuntu的镜像,也可以获取其他OS的镜像,本文以Ubuntu为例 启动Docker容器:执行 ...
- 利用两台虚拟机搭建Nginx高可用集群、宕机测试、宕机恢复
这里写目录标题 一.准备阶段: 二.安装阶段: 1.安装pcre及其依赖 2.安装ngnix 3.安装keepalived 三.配置阶段: 四.启动阶段: 1.集群测试 2. 宕机测试 一.准备阶段: ...
- mysql集群不同步_mysql数据库集群出现1236错误导致主库与从库无法同步的
mysql数据库集群出现1236错误导致主库与从库无法同步的 发布时间:2020-02-28 02:50:14 来源:51CTO 阅读:153 作者:o凤舞九天o /etc/my.cnf中sync_b ...
- 2022学习0427【K8S 集群IO高,导致服务挂掉,排障记录】
庆祝一下,今天解决了一个困扰我一个多月的问题! [问题背景]:2核2G的腾讯云S5服务器上通过minikube部署了K8S集群.上面有nodejs,grafana两个deployment,以及file ...
- php mysql集群_PHP如何访问数据库集群
一般常见的有三种做法, 1,自动判断sql是否为读,来选择数据库的连接: 实例化php DB类的时候,需要一次连接两台服务器,然后根据slq选择不同的连接,举个例子: $link_w = mysql_ ...
最新文章
- 浏览器不是最大化的时候要考虑浏览器的边框宽度
- 给 DataGrid 的删除信息添加提示
- python csv文件参数化_Python 读取csv文件的某一列数据,并定义两个pattern,确定变化区间...
- SPOJ - NSUBSTR Substrings(后缀自动机)
- eclipse 查找
- MySQL笔记之视图的使用详解
- iPhone平台下的游戏开发
- [开源]STM32F103RBT6最小系统,LEDx2,KEYx4
- 由echarts想到的js中的时间类型
- maven3常用命令、java项目搭建、web项目搭建详细图解
- oracle 索引原理
- 安卓手机如何防盗_如何使用IMEI号码追踪丢失的安卓(Android)手机
- matlab:圆形的图像识别(一)
- 管理的5个层次,你在第几层?
- 【计算机网络】—什么是蜂窝移动网络?
- IOS UIKit基础控件的使用
- Eclipse中Outline里各种图标的含义
- red5源码分析---12
- Jina文章转载:多模态AI的范式变革多模态AI总结(2022年COLING会议)
- redis设置可远程访问