背景描述

在2018年1月22日星期一，早上发现部署在阿里云所有服务无法访问，登录到阿里云控制台，首先查看SLB负载均衡器状态，发现所有公网负载均衡器被停用，专网负载均衡器工作正常。电话联系阿里云客服，告知阿里云欠费，我们的负载均衡器都是按量付费模式，因欠费所以被停用，立刻向阿里云进行充值，暂时解决问题。


需要解决的问题

  1. 阿里云账户就在前两天还有充足的余额，为什么突然欠费？费用产生原因？

备注：因为部署到阿里云业务刚上线，还没有正式启用，还没有做监控。另外阿里云账号绑定手机在其它人手中，所以阿里云短信通知没有收到。


排查过程

  • 首先查看阿里云消费记录，发现OSS对象存储每1小时扣费10到30元不等（大部分是在20以上），持续时间从2018年1月16日星期二晚上17点过开始，一直到2018年1月20日星期六早上9点，余额为0。

备注：OSS对象存储也是按量付费，如下图所示

  • 查看OSS管理平台，发现流出流量达到4.5TB，GET请求达到2600多万次，但OSS所有对象加一起不超过400个对象，总大小不超过100M，如何产生如此巨大流量。第一反应是被恶意***，然后通过OSS控制台热点统计分析，发现流量都来自于阿里云，并且都来自于一个省（也正是所购买阿里云ECS所在省），再通过文件访问统计发现所有访问都指向同一张图片，每天产生1T到2T的流量，此时已经怀疑是业务造成。

  • 检查需要调用这张图片的服务，最终发现有一个服务一直在死循环调用这张图片，并且走的是OSS公网接口地址，所以产生了公网流量


解决方法

更改A业务代码，如果出现上述情况，将输出一个业务上的ERROR，此消息作为正常消费处理。业务描述：MQ会往A业务上面推送消息，然后A通过消息内的数据去获取两张图片作对比，首先获取的就是OSS对象存储里面的图片，此时获取成功，然后再获取另外一张图片，因图片不存储，导致获取失败，然后MQ认为此消息没有被正常消费，所以又导致重新推送，如此循环

番外篇

因为大量的请求，导致出错的业务所在服务的日志文件不断的增大，最后服务器空间在2018年1月21日星期日早上9点爆满，另外在欠费时间点后的所有请求都是失败请求。

总结

  • 监控很重要，包括对服务器基本信息的监控，web站点的监控，如果做到了这两个至少可以做到问题早发现，或者有助于排查问题，不至于如此被动，教训啊！！！

转载于:https://blog.51cto.com/270142877/2065605

关于阿里云OSS故障排查解决，以及经验总结相关推荐

  1. 解决七牛云链接失效以及批量下载图片并迁移阿里云 OSS

    起因 七牛云对测试域名进行回收,而我博文中图片用的链接仍然是测试域名的链接,因此导致部分链接失效,浏览器返回如下错误: {"error":"no such domain& ...

  2. 第七天 黑马十次方 吐槽列表与详细页、发吐槽与评论功能、问答频道功能、掌握DataURL和阿里云OSS

    第7章 网站前台-吐槽与问答 学习目标: ** 完成吐槽列表与详细页 完成发吐槽与评论功能,掌握富文本编辑器的使用 完成问答频道功能 掌握DataURL和阿里云OSS** 1 吐槽列表与详细页 1.1 ...

  3. 解决阿里云OSS跨域问题

    解决阿里云OSS跨域问题 现象 本人项目中对阿里云图片请求进行了两次,第一次通过img标签进行,第二次通过异步加载获取.第一次请求到图片,浏览器会进行缓存,随后再进行异步请求,保存跨域失效. 错误信息 ...

  4. 解决： 网站访问报错 AccessDenied （阿里云 OSS + CDN ）

    前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到教程. 1. 使用阿里云 OSS服务 + CDN 服务后,直接用顶级域名访问个人站点失败,报错如下: < ...

  5. vue用阿里云oss上传图片使用分片上传只能上传100kb以内的解决办法

    首先,vue和阿里云oss上传图片结合参考了 这位朋友的 https://www.jianshu.com/p/645f63745abd 文章,成功的解决了我用阿里云oss上传图片前的一头雾水. 该大神 ...

  6. 5分钟解决阿里云oss对象存储

    5分钟解决阿里云OSS对象存储 后附关键代码 启动代码如下: pom.xml里添加依赖 com.aliyun.oss aliyun-sdk-oss 2.8.3 1.建类AliyunOSSClientU ...

  7. 秀米编辑器（xiumi）+百度编辑器（Ueditor） 集成 ：解决集成问题，秀米编辑器导出到百度编辑器格式问题，图片保存到自己的服务器（阿里云OSS）

    1.集成前提条件: 1. 需要集成百度编辑器到环境中 2.https环境下才可以导出数据到百度编辑器,如果不是https环境,会出现错误 然后我们开始讲解如何集成: 2.引入资源: //百度编辑器需要 ...

  8. 解决阿里云oss文件上传部分MP4格式视频文件上传导致上传崩溃问题

    解决阿里云oss文件上传部分MP4格式视频文件上传导致上传崩溃问题 问题描述 java程序,使用阿里云oss文件上传服务,在测试时偶然发现,我用苹果手机开启高清进行摄像,将原图通过qq传到电脑上,在电 ...

  9. fastadmin 阿里云oss解决访问图片是下载

    阿里云oss的上传策略默认是公网访问是下载 需要去 修改插件里的这个文件 addons/alioss/libary/oss/core/MimeTypesw.php 如果之前的也想全部是浏览 找到对应图 ...

最新文章

  1. c++ make_pairpair
  2. 替换UI--遮挡问题
  3. springMVC3学习(四)--訪问静态文件如js,jpg,css
  4. 牛客多校8 - Enigmatic Partition(二阶差分)
  5. ASP.NET Core模块化前后端分离快速开发框架介绍
  6. Linux信号的产生和处理
  7. WEB应用中的信息泄漏以及攻击方法
  8. mysql------事务
  9. QT解析嵌套JSON表达式
  10. mysql安全模式什么意思_mysql安全模式指的是什么意思
  11. PHPCURL直接访问JSONRPC服务
  12. 《Java项目开发案例整合》
  13. Java--静态代理和动态代理
  14. 通过两个列表构建字典_我在两个月内以99美元的价格构建了一个电子商务网站！
  15. chatgpt平替，清华chatglm本地化部署教程（aigc大模型风口，校招找工作必备），包含weiui部署，api部署，对话框部署
  16. 2022无线蓝牙耳机选哪个？盘点超热门的蓝牙耳机品牌推荐
  17. sklearn聚类之OPTICS算法
  18. 协同过滤(collaborative filtering)
  19. 迷阵突围——Dijkstra求次短路
  20. Python-模拟鼠标键盘动作

热门文章

  1. 记互联网创业公司二三事
  2. HDU 5983(模拟魔方 模拟)
  3. 打印机服务器ip修改,怎么样更改打印机服务器的ip地址
  4. 12帧跑步动画分解图_画出人物跑步的动画运动规律，并上传动画效果视频和逐帧图片。...
  5. 用计算机解组合题,2016年同等学力申硕计算机综合试题解析--数学基础
  6. win10系统如何配置web服务器,Win10 IIS Web服务器安装与配置
  7. 【问题解决】插上耳机，仍然外放
  8. 用UE改变静态网格体的轴心
  9. win10 cd到盘符及文件方法
  10. 【天光学术】经济统计学论文：“三权分置”下土地经营权抵押贷款证券化研究（节选）