运维工程师之-MySQL的故障问题总结
- 故障类问题
你在日常工作中遇到过什么故障?
你在日常工作中处理过什么故障?
你平常工作都干什么活?
故障01:mysql时软件版本选择错误
每一个故事的背后都有一个事故,每个故障总结一个故事
软件版本 64位 32位选择错误
故障02: 安装故障
1.用户没创建 权限没给
2.初始化 mysqld mysql_install_db
本地的mariadb没卸载, /etc/my.cnf没有删掉 ,初始化时会导致失败
3.配置文件实际情况不对应(basedir , datadir)
此处该加上一个励志的故事,融入个人情感,刚开始学mysql的不容易与坚持
4.重启,数据盘没有挂载
/dev/sdb ----> /data 没有自动挂载 导致mysql启动不了
排查思路: 日志文件中的错误信息,当时对日志不是特别熟
5.mysql升级失败 5.5 —>8.0
当时不清楚mysql的这些原因,没有注意,领导让测试8.0的环境
我就下载了一个8.0.11版本,我安装到了测试服务器,原生产核心功能表的一部分数据通过MDP工具导出来了,恢复到测试中,然后应用测试的时候直接导致无法连接,通过查看官方文档8.0的那个<what is new?>,才明白了不能大版本升级
排错思路:主要原因就是版本的特性原因,8.0不升级数据字典,,,8.0的密码和用户管理发生了巨大变化 先升级到5.7 再升级8.0,sql_mode,数据类型差别这个问题当时卡了一个小时,第二周就要上线了,因为也没人协助我,从网上一直搜查资料一直熬到快三点了才解决,想想这几年刚大学毕业,一直觉得差其他人好多的,所以自己就特别要强,不会的东西就一直搞搞搞,现在想想,觉得自己做的无怨无悔,这个行业带给我很多好的结果,我就认为我自己肯定行,自从经历了那么多的熬夜查文档,解决问题的那个时刻真的让我就特别的开心,现在出现故障慢慢的就不怵了
故障03:数据库连接不上
1.网络不通,防火墙1.网络不通:网线坏了(老鼠咬断了 机柜压断了 被人拔了 哈哈...)网卡 bond 交换机 路由器 回路 网络流量满负荷解决思路: 监控2.防火墙:敲错防火墙规则,上来写错了一条规则,导致内网服务器访问不了了不过幸亏是在测试环境做的,有个好习惯就是任何调优配置都先在测试环境中配置3.没启动 端口 IP4.应用端客户端工具版本过低
https://downloads.mysql.com/archives/5.连接数(499)redis雪崩 穿透日志show processlist;
故障问题04: 配置文件问题
故障问题05: 多实例
故障问题06: sql_mode(groupby,时间类型) 迁移升级
故障问题07: 数据类型
故障问题08: 字符集:乱码
故障问题09: 校对规则问题
故障问题10: update问题 binlog2sql
故障问题11: DDL, 数据库夯住了
show processlist;
pt-osc
故障问题12: select查询语句慢
头一天好好的,第二天就慢了
optimize table t1;
故障问题13: 慢语句处理,同一个存储过程一天内执行了几十次
slowlog 抓到是一个存储过程,执行几十次
故障问题14: delete
binlog2sql 翻转 delete 替换为update
故障问题15: 索引问题:
荣誉索引过多,索引列比较长(前缀),联合索引(索引覆盖长度,顺序)
slowlog ----> explai ---->索引
故障问题16: 存储引擎
1. 表空间迁移
2. 每周六全备,其他时候binlog增量.异常断电,binlog损坏,ibdata1损坏
3. 碎片整理 alter table t1 engine innodb;
4. 锁等待
5. 幻读,不可重复读
故障问题17:日志故障
1.reset master rm -rf 导致主从IO线程故障数据库如果出现损坏 无法完整恢复2. gtid : --skip-gtids 导致数据无法恢复3. slowlog
故障问题18: 备份恢复
1. mysqldump 加了 --set-gtid-purged=off,主从构建不成功
2. --max_allowed_packet,大表备份时报错
3. -E -R --triggers没加
4. 增量合并失败.
故障问题19: 主从
1.主从故障: IO SQL show slave status \G
2.主从延时: 延时时间 日志量差异
3.主从不一致: 从库宕机 pt工具
4.延时从库 解决逻辑故障
5.过滤复制 只复制了部分库 没有复制mysql,查询时连接不上或没有权限
6.gtid复制搭建
故障问题20: 高可用MHA
只有vip功能 缺了binlogserver 故障提醒功能
MHA+keepalive 权重问题
故障问题21: 分布式Mycat
1.分片方式,分片策略设计不合理
2.跨分片join 全局表 ER表
故障问题:22: 优化
1. innodb_flush_log_at_trx_commit=0
2. sync_binlog=0
3. innodb_flush_method=fsync 占用大量的额外内存,配合固态硬盘使用 O_direct
2. 架构类
- 一主1从+读写分离proxysql maxscale (50G)
8核32G
阈值:
并发连接 800-1000
并发查询 5W QPS
并发事物 300 TPS
2.一主3从+读写分离+延时从 (100-200G)
8核32G
阈值:
并发连接 800-1000
并发查询 8W QPS
并发事物 200 TPS
3.一主多从+级联复制+过滤复制 (300-500G)
8核32G
阈值:
并发连接 800-1000
并发查询 15-20W QPS
并发事物 200 TPS
4.MHA+ProxySQL 1主3从
1主2从做MHA+proxySQL 1从做容灾
16核64G*3 + 8核16G阈值:
并发连接 1500-2000
并发查询 12W QPS
并发事物 400 TPS此架构适合电商平台,物流
2T数据
- PXC + proxySQL(MGC+maxscale)
16核64G*3 + 8核16G
阈值:
并发连接 1500-2000
并发查询 12W QPS
并发事物 400 TPS此架构适合电商平台,物流
2T数据
6.Mycat + MHA(PXC)*3 高可用分布式集群
16核128G*7
阈值:
并发连接 3000-5000
并发查询 20W QPS
并发事物 800-1000 TPS教育行业(大数据平台)
9T数据
7.redis sentinel+Docker
redis Cluster + k8s
- MongDB replication
保险类公司
16核 256内存 + 40T*4台
20T左右数据 +保单
- MongDB Sharding + HASH
数据在PB级别: 共享单车 百度地图 京东 360
16核128G*9台*40T
3. 优化类
锁等待
索引+slow
innoDB换成TokuDB(MyROCKS)
4. 升级迁移
- zabbix
- MongDB Sharding + HASH
数据在PB级别: 共享单车 百度地图 京东 360
3年-5年的某银行流水 30T
16核128G*9台*40T
5. 客观面试题:
你们公司架构是啥样的,做的什么业务,数据量,QPS,TPS?
你们公司数据库都用了那些产品,分别架构了什么服务?
你处理过什么故障吗?
你觉得我们公司需要招聘什么员工? 你觉得你是什么样的人? 你觉得我们为什么要招你?
你对SQL语句了解到什么程度?
你对索引了解吗? Btree查找算法原理是什么? 聚集索引和辅助索引区别?你怎么理解的索引树高度?
请你介绍下你了解的存储引擎类型?
请说明数据InnoDB,MyRocks,TokuDB区别?
InnoDB核心特性:事务,ACID,锁,隔离级别,redo,undo,MVCC ,幻读,脏读,不可重复读,碎片整理怎么做的?
二进制日志格式都有哪些? 你对二进制日志操作过什么?
你们公司的备份策略怎么设计的? 你备份一次多长时间? MDP 怎么实现的热备功能,XBK备份原理是什么?
全备很大,一个非常小的表损坏了,你的快速恢复思路是什么?
主从复制原理,主从怎么监控,怎么排查故障,怎么排查延时问题.你对降低主从延时有什么好的建议和方案?
second behind master 怎么算出来?
延时从库是干什么用的? 半同步复制原理? 增强半同步,无损复制原理,MGR组复制原理? Paxos原理?
GTID复制和传统复制的区别?
MHA Failover原理,PXC工作原理?
你对分布式架构的理解?
Redis: 持久化方式,数据类型,事务进行说明?
redis sentinel 高可用集群的工作原理,redis Cluster的工作原理?
MongoDB replicationSet工作原理(raft分布式一致协议),Sharding CLuster工作原理.
18.你都做过哪些优化?
PT工具都用户哪些 ?
用过哪些压力测试工具?
你对Oracle(安装,网络管理,文件管理,表空间,备份恢复,DG,RAC)了解吗?Pg(安装,基本管理,备份恢复,集群)了解吗?
你对TiDB了解吗?
你对云数据库了解吗?
你对Docker,K8s了解吗?
运维工程师之-MySQL的故障问题总结相关推荐
- 10·24【运维工程师也过节】【运维MySQL大礼包】
重点是结束语,都是前辈们总结的[运维]精华. 目录 MySQL运维环境 mysql5.7安装(centos7) mysql5.7修改密码策略 mysql初始化 mysqldump常用参数(数据备份) ...
- 运维技能定级标准第3篇——关于运维工程师岗位的运维监控与MySQL数据库技能级别设计
运维工程师岗位工作技能的评定类别(3)和(4) 3.运维监控技术 级别0,什么都不懂 级别1,常见监控工具或软件系统的基本安装.配置.使用,照猫画虎会使用而已. 级别2,熟悉监控系统的基本原理和常用配 ...
- 运维工程师的职责和前景
转载自网络 运维中关键技术点解剖:1 大量高并发网站的设计方案 :2 高可靠.高可伸缩性网络架构设计:3 网站安全问题,如何避免被黑?4 南北互联问题,动态CDN解决方案:5 海量数据存储架构 一.什 ...
- 一名合格的运维工程师的历练之路
怎么样才能成为一名合格的运维工程师?或者说一名合格的运维工程师到底是怎么样的?还有我现在到底算不算是一名合格的运维工程师呢? 我想这些问题是每个运维工程师心里都存在的共性问题.那么今天我就为各位运维工 ...
- 运维工程师必备之负载 均衡集群及LVS详解
原文地址:运维工程师必备之负载 均衡集群及LVS详解作者:蚁巡运维平台 来源: chrinux 的BLOG 时间: 2013-07-01 14:00 此博文主要介绍集群和负载均衡的基本理论和类别,内容 ...
- 运维工程师该干什么学些什么
运维工程师该干什么学些什么?[致菜鸟] 很多刚学linux运维的朋友,总是搞不懂,运维工程师工作中干些啥?学的这些东西有什么用?今日我特来总结总结,希望能帮助即将跨入该行的人形成一个整体的思路.下面红 ...
- 详解Linux运维工程师打怪升级篇
详解 Linux 运维工程师打怪升级篇 积累经验篇 做运维也快4年多了,就像游戏打怪升级,升级后知识体系和运维体系也相对变化挺大,学习了很多新的知识点. 运维工程师 是从一个呆逼进化为苦逼再成长为牛逼 ...
- 大型网站运维工程师的职责和前景
运维中关键技术点解剖: 1 大量高并发网站的设计方案 ; 2 高可靠.高可伸缩性网络架构设计; 3 网站安全问题,如何避免被黑? 4 南北互联问题,动态CDN解决方案; 5 海量数据存储架构 一.什么 ...
- Linux运维工程师必学必备的8项IT技能
如果你在学习Linux,那么强烈推荐你选择RHEL和Centos作为学习的Linux发行版本,在公司及企业当中他们是使用最多的,毕竟学习除了本身是爱好,其次也是为了就业.Centos是RHEL的克隆版 ...
最新文章
- Devops (1)
- How to create a jump server in AWS VPC
- pcap python 生成_python+pcap+dpkt 抓包小实例
- SAP License:求职最受欢迎的十大技能
- OpenStack混合云的集成问题如何克服?
- 计算机审计初级难度,到现在你还不知道注会各科通过率 就真的out啦
- Vmware虚拟机win10详细安装之自定义安装
- php分页类 seo,laravel 分页seo浅谈
- 2018 Google IO大会来了
- xss之CSP bypass
- 版权符号圈c的输入方法
- 上海市政府颁布智能汽车牌照,蔚来汽车成首批获此资格企业
- Go 中的那些语法糖
- 图形编程丨图形绘制基础imgui篇—D3D9 HOOK 创建内部Imgui窗口
- 装系统需不需要格式化系统盘?别再被这些说法骗了!
- 今日早报 每天一分钟知晓天下事 3-13
- 寿星万年历源代码(JAVA/VB NET)
- 微信小程序|使用小程序制作一个核酸检测点查询工具
- 中小板、创业板、新三板和科创板之间的区别
- MeiShe Face Sticker Design Plugin AR Scene Editor Instruction
热门文章
- d - 数据结构实验之查找四:二分查找_数据结构与算法笔记
- 动态规划之最长回文串
- 基于python的文件加密传输_Python优雅的加密传输文件
- android 中如何监听按键的长按事件
- Python3+Dlib+Opencv实现摄像头采集人脸并对表情进行实时分类判读
- Qt--音乐播放器 V2.0
- spark笔记之Scala中的协变、逆变、非变
- Oracle分析函数Over()
- Ubuntu系统下如何在不重启的情况下永久修改hostname主机名
- 12个有趣的C语言问答_sunyrising-ChinaUnix博客