多事之秋-最近在阿里云上遇到的问题:负载均衡失灵、服务器 CPU 100%、被 DDoS 攻击...
昨天 22:00~22:30 左右与 23:30~00:30 左右,有1台服役多年的阿里云负载均衡突然失灵,造成通过这台负载均衡访问博客站点的用户遭遇 502, 503, 504 ,由此给您带来麻烦,请您谅解。
问题非常奇怪,从表现看,似乎负载均衡与后端服务器之间的内网通信出现了问题。有时健康检查成功,但转发请求到后端服务器会失败;后端服务器明明正常,有时健康检查却失败;最糟糕的时候,所有后端服务器都健康检查失败。而其他使用同样后端服务器的负载均衡都没出现这个问题,最终通过下线这台负载均衡解决了问题。
这台负载均衡是我们 2013 年刚上阿里云时购买的,服役多年,之前从未出现这个问题,现在看来只能被迫让它退役了。
昨天上午发现,我们用于部署除博客站点之外所有其他应用的 docker swarm 集群中所有服务器 CPU 100% 。
这个 CPU 100% 与通常的 CPU 100% 有很大的不一样,虽然是 100% ,但不影响应用的正常运行。今年3月份也遇到到同样的问题,当时通过 top 命令查看是 sy (system cpu time spent in kernel space) 占用了很多 CPU ,后来通过重启集群中的所有 worker 节点服务器并重新部署应用解决的。
今天早上我们也采取了重启节点服务器的方法,重启后服务器 CPU 恢复了正常。但在操作过程中,闪存应用容器出现了问题,造成 15 分钟左右闪存站点访问不正常,由此给您带来麻烦,请您谅解。
最近,博客站点遭遇多次 DDoS 攻击,最高一次攻击流量达到了近 80G 。一攻击就会被阿里云屏蔽30分钟,虽然我们采取了应急措施,但全部生效要10分钟左右,所以每次受攻击影响的用户可能要10分钟左右才能恢复正常访问,由此给您带来您谅解,请您谅解。
在这个多事之秋,网站出现了很多次故障,给大家带来了很大的麻烦,恳请大家的谅解。
这个多事之秋,对我们也是一种考验,我们会吸取教训,进一步提升自己,在接下来更加努力地和大家共建更加朝气蓬勃的园子。
转载于:https://www.cnblogs.com/cmt/p/11582653.html
多事之秋-最近在阿里云上遇到的问题:负载均衡失灵、服务器 CPU 100%、被 DDoS 攻击...相关推荐
- 阿里云ACA课程之掌握负载均衡SLB
阿里云ACA课程之掌握负载均衡SLB SLB产品概要 概念 SLB可以做什么? SLB简介 SLB核心概念 SLB术语 SLB主要功能 SLB主要操作 SLB相关问题 SLB相关的问题 后端ECS实例 ...
- 云计算之路-阿里云上:一场暴风雨的袭击
2013年6月13日晚10点左右,一场暴风雨(突发的非正常流量)突袭园子,造成满园尽是500. 这次风暴给大家带来了麻烦,恳请大家的谅解!在这篇博文中,我们向大家汇报一下暴风雨的袭击过程. 当发现问题 ...
- 华为云服务-运维篇-负载均衡介绍与平台算法使用
文章目录 1.前言 2.负载均衡的分类 2.1.硬件负载均衡 2.2.软件负载均衡 2.3.本地负载均衡 2.4.全局负载均衡 3.负载均衡算法 3.1 分类介绍 3.2 静态负载 3.3 动态负载 ...
- 【SVN】在阿里云上创建svn服务器
1.创建用户及相关设置 阿里云搭建ubuntu18.04工作台,默认只有root超级用户.为了安全起见,我们使用普通用户来创建svn: useradd hello // 创建用户hello mkdir ...
- 如何在阿里云上安全的存放您的配置 - 续
在<如何在阿里云上安全的存放您的配置>一文中,我们介绍了如何通过ACM存放您的敏感配置,并进行加密.这样做的目的有两个: 在应用程序或对应生产环境容器或系统中,无需持久化任何敏感数据信息( ...
- PyTorch 1.3发布:能在移动端部署,支持Colab云TPU,阿里云上也能用
本文经AI新媒体量子位(公众号ID:qbitai)授权转载,转载请联系出处. 本文约2700字,建议阅读7分钟. 本文向你介绍 PyTorch1.3 的新特性. "我要转PyTorch!&q ...
- 在阿里云上部署生产级别Kubernetes集群
阿里云是国内非常受欢迎的基础云平台,随着Kubernetes的普及,越来越多的企业开始筹划在阿里云上部署自己的Kubernetes集群. 本文将结合实战中总结的经验,分析和归纳一套在阿里云上部署生产级 ...
- 云计算之路-阿里云上-幸福总是很突然:“黑色1秒”问题解决啦
云计算之路-阿里云上-幸福总是很突然:"黑色1秒"问题解决啦 参考文章: (1)云计算之路-阿里云上-幸福总是很突然:"黑色1秒"问题解决啦 (2)https: ...
- Oracle APEX 系列文章2:在阿里云上打造属于你自己的APEX完整开发环境 (准备工作)...
本文是钢哥的Oracle APEX系列文章中的第二篇,完整 Oracle APEX 系列文章如下: Oracle APEX 系列文章1:Oracle APEX, 让你秒变全栈开发的黑科技 Oracle ...
最新文章
- 2021年腾讯云安装Docker最简洁方法
- 面试问我,创建多少个线程合适?我该怎么说
- 脑电图伪迹去除方法汇总
- JVM性能调优监控工具使用详解
- SAP云平台CloudFoundry上部署了一个应用的技术明细
- oracle之数据处理2
- Thymeleaf 简介、教程
- python运行方法_对python中执行DOS命令的3种方法总结
- 中文信息处理——语料划分测试集与训练集
- 流媒体技术学习笔记之(十五)FFmpeg编码遇到的错误、警告、Debug记录
- nacos 单机部署_nacos简介以及作为注册/配置中心与Eureka、apollo的选型比较
- 【MFC开发(6)】复选框按钮控件Check Box
- matlab配置vlfeat工具箱
- 如何看懂这些图形学公式
- 非常棒的口才训练方法
- Android打开应用市场
- thinkPHP生成微信支付平台证书
- 日语学习 N1 单词
- 2021年复旦大学961真题回顾
- 数据基本类型各占几个字节?
热门文章
- android webview播放mp4,Android的webview不播放mp4视频在同一页
- FaceBook登录接入
- Hash Trick在机器学习中的应用
- cb46a_c++_STL_算法_逆转和旋转reverse_rotate_函数advance
- 手把手教你用 WordPress 搭建个人博客
- Android:TI 型号2640 R2F低功耗蓝牙芯片 OAD升级
- python程序设计基础试题及答案_智慧职教2020Python程序设计基础试题及答案
- HEVC学习之率失真优化
- RGSSAD加密方案分析
- 软件测试简历模板【功能测试,自动化测试,测试开发】简历模板