阿里云 mysql 100_【故障公告】阿里云 RDS 数据库服务器 CPU 100% 造成全站故障

【故障公告】阿里云 RDS 数据库服务器 CPU 100% 造成全站故障

发布时间：2019-09-04 23:15,

浏览次数：238

, 标签：

RDS

CPU

github 故障公告链接：https://github.com/cnblogs/coder-service/issues/106

后续故障公告：升级阿里云 RDS SQL Server 实例故障经过

非常非常抱歉，今晚 19:34 ~ 21:16 园子所使用的阿里云 RDS 数据库服务器突然出现 CPU 100%

问题，造成全站无法正常访问，由此您带来了很大的麻烦，请您谅解。

故障经过是这样的。19:34 这个时间点本来是一个访问低峰，数据库压力比访问高峰时低很多，但数据库服务器却异想天开、吃饱了撑着地让自己的 CPU

满负荷工作(到现在我们都没想通，难道是服务器晚饭吃多了想帮助消化？)。开始我们以为是某个应用引起的，一个一个应用排查与重启，但 CPU

不为所动，依然百分百。接着，我们一边向阿里云提交工单求助，一边通过阿里云 RDS

控制台进行主备切换，虽然控制台显示切换成功后，但“实例可用性”中主备库信息无任何变化，实际主备库切换并没有成功，绝招也失灵。请阿里云帮忙手动进行主备切换，但阿里云操作后反馈由于数据库访问压力大，手动也切换不过去，建议我们重启实例。最终，我们决定重启实例，重启实例后一切恢复正常。是的，就是用最笨的方法——重启——解决了问题，在故障期间我们采取的所有措施都是徒劳，让人哭笑不得。

望着今晚被狂风暴雨突袭后一片狼藉的园子，心中说不出的难受和愧疚。真的很抱歉，我们一直在努力建设园子，但今天的故障又告诉我们，没那么容易，我们的努力还不够，我们别无选择，唯有更加努力。

【更新】

00:22 开始将阿里云 RDS 实例从 SQL Server 2008 R2 升级至 2016

6:20 数据库升级完成

升级后大量数据库查询超时，正在紧急处理中。

9:20 升级后大量 SQL 需要编译，RDS 实例的 CPU 一直居高不下，由于阿里云 RDS

控制台中数据库实例一直处于“主备库切换中”状态中，即使想升级 CPU ，现在也无法进行。

9:50 从早上 8:50 开始阿里云 DBA 就开始重建备库，“主备库切换中”状态要等备库重建完成才能解除，升级服务器配置也要等备库重建完成。

10:29 备库重建完成，“主备库切换中”状态解除。

10:50 准备升级 RDS 配置，但阿里云升级配置页面的计价出现问题，即使配置保持不变，也要1万多元的费用。

11:05 进行了主备切换。

11:10 主备切换完成后，目前恢复了正常。

阿里云 mysql 100_【故障公告】阿里云 RDS 数据库服务器 CPU 100% 造成全站故障相关推荐

mysql数据库服务器cpu_mysql数据库服务器cpu 100%
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],&q ...
阿里云mysql数据库引擎_在阿里云RDS数据库服务器中将MySQL InnoDB引擎表转为压缩格式...
今年以来将我们以前托管或者租用的服务器全面转向阿里云,除了采用ECS服务器以外,还有一项重要的是采用了RDS数据库服务器,这对于服务的稳定性.各项指标的监控.调优等都有帮助. 不过随着近期更多数据库转 ...
多事之秋-最近在阿里云上遇到的问题：负载均衡失灵、服务器 CPU 100%、被 DDoS 攻击...
昨天 22:00~22:30 左右与 23:30~00:30 左右,有1台服役多年的阿里云负载均衡突然失灵,造成通过这台负载均衡访问博客站点的用户遭遇 502, 503, 504 ,由此给您带来麻烦, ...
阿里ECS云服务器连接RDS数据库服务器小白图文详细教程(云企业)
场景:购买了一个ECS云服务器专门运行代码,再购买一个RDS数据库服务器专门放数据, 前提:我有两个阿里帐号A.B,两个帐号都购买了一个ECS服务器,分别是A-ECS1.B-ECS2:现在再购买多一个 ...
阿里云 mysql 100_阿里云RDS实例CPU超过100%
问题:收到报警说是RDS实例的CPU满负荷,实例偶尔出现卡住的现象分析:cpu消耗过大有慢sql造成,慢sql包括全表扫描,扫描数据量太大,内存排序,磁盘排序,锁争用等通常这种情况都是由于sql性 ...
获取阿里云mysql实例名称_阿里云如何获取数据库名字
全网最新活动请看下方内容或右侧内容! --------------- 阿里云如何获取数据库名字,阿里云服务器回滚数据库. 对于大多数小型或初期项目来说,我们可能常用的做法是先将web.数据库全部安装在 ...
连接并配置好无极网络VPS主机 | 配置Mysql数据库 | Centos 常用操作| vim操作 | 保持centos的任务 | 阿里云mysql | Node.js | 腾讯云mysql
在无极网络获得主机并用Xshell6连接上配置主机的DNS和网络连接 # http://www.5jwl.com/style/info/shownews.asp?id=1383 Xshell 6 ( ...
阿里云Intel Xeon Platinum 8269CY（Cascade Lake）服务器CPU性能评测
阿里云服务器CPU Intel(R) Xeon(R) Platinum 8269CY处理器主频2.5 GHz,睿频3.2 GHz,计算性能稳定.阿里云第六代云服务器ECS共享型S6.计算型C6.通用型 ...
腾讯云 mysql 远程_腾讯云服务器 MySQL 远程连接设置
问题说明使用 MySQL GUI 连接腾讯云的 MySQL 服务器连接失败,经查是由三个原因引起的: 云服务器未配置安全组,开通 3306 端口. 数据库默认只允许本地连接,拒绝远程连接. 所使用 ...
MySQL通过添加索引解决线上数据库服务器压力大问题
昨天3月26号线上应用反馈:晚上19:30-19:43以及 20:13到20:21两个时间段所有人包括他们自己建的教室都进不去,cla***oom B套无法登陆,主页无法访问,已有超过10个老师和学生 ...

阿里云 mysql 100_【故障公告】阿里云 RDS 数据库服务器 CPU 100% 造成全站故障

阿里云 mysql 100_【故障公告】阿里云 RDS 数据库服务器 CPU 100% 造成全站故障相关推荐

最新文章

热门文章