随笔小记--微博手动扩容来解决因新热搜“鹿晗关晓彤恋情”引起的down机

十一长假的尾巴，8号中午12整，我们的小鹿扔出了一句，“大家好，给大家介绍一下，这是我女朋友@关晓彤”。一石激起千层浪，微博的吃瓜群众纷纷来围观，也忙坏了微博的热搜维护工程师，一边忙结婚一边忙扩容…

讲真，前端狗不是很清楚服务器的那些事，我是抱着学习的心态来求科普的。。。

微博方面公布数据称，2016年除夕当天，微博日活跃用户创新高。2016年2月7日零点至春晚结束，微博日活跃用户达到1.34亿，比去年除夕增长31%。春晚直播期间，讨论春晚的微博达到5191万条，比去年同期增长15%，网友互动量更是达到1.15亿，大幅增长76%。截至除夕24点，网友抢微博红包的总次数超过8亿次，其中有超过1亿网友抢到红包。（至于为什么没有找2017年的数据，你懂的。）

让我们再来看看这次的突发热搜数据统计：

覆盖人次超过8.4亿，比之春晚更甚，所以这次坑到工程师，着实也不冤。不过，妥妥的鹿晗和关晓彤这次是来测试微博服务器的吧…

好，八卦，收！借这次微博手动扩容的解决方案，我就好奇科普了一下服务器扩容。

首先我们先简单梳理一下，什么是服务器扩容？
1. 为了满足业务需求，需要通过增加服务器的数量，或存储数量，或带宽数量，或计算能力等，都叫服务器扩容。
2. 在服务器架构允许的情况下，一般通过增加服务器的数量来解决。如果架构固定，无法使用上面的方式，只能通过增加已有服务器的CPU数量，内存数量，硬盘容量等进行扩容，但这种方式容易遇到上限，扩容限度有限。

对新浪这种流量大户来说，当然选择了增加服务器的数量来解决了。当流量增加至数倍时，对于微博来说，需在十几分钟内完成上千台服务节点扩容。如果仅为应对流量高峰而常备一两千台空闲服务器，这对公司来说成本确实是巨大浪费。所以如何在峰值到来时，保证成功率的前提下最快完成扩容成了一个不可忽视的挑战。我们可以看到微博已经做出了一些调整，包括实现新一代基于Docker的混合云平台DCP（Docker Container Platform）。当峰值来临迅速调度部署云服务器为新浪微博的流量峰值分摊流量，这可以很好的解决私有云短时间无法迅速扩容服务器的问题。另外公有云的按量弹性需求十分贴合新浪微博的需求，也可以降低大量成本。（对云计算细节不是很清楚，有兴趣的同学可以转道去看看)

虽然这次的突发流量事件看起来有点打脸微博号称“十分钟快速应对百亿级访问量“，因为down了两小时。。不过，在架构方面，微博所主打的按量弹性部署个人还是很欣赏感兴趣的。其实说到弹性，可以改善的方面就多了，负载均衡、数据库、缓存等等都可以考虑弹性了，想想就觉得工作量好大。。。（推荐：网站高并发大流量访问的处理及解决方法）

好了，今天的随笔就到这儿了。对微博IT架构感兴趣的，还可以参考这里：

新浪微博技术专家付稳2017年4月14日的演讲 - 新浪微博混合云DCP平台介绍与业务上云实践：会议ppt传送门

新浪微博技术专家付稳2017年4月1日的受访整理：揭秘微博如何10分钟快速应对百亿级访问量

随笔小记--微博手动扩容来解决因新热搜“鹿晗关晓彤恋情”引起的down机相关推荐

微博被曝大面积裁员？上热搜了
互联网大厂裁员潮似乎又波及一家. 近日,一则关于"微博大面积裁员"的消息开始在网上流传. 据网友爆料的截图显示,在职场社交平台脉脉上,有关"传微博正在优化员工" ...
历史微博，阅读量查看，微博热搜查看，批量监控微博刷量...盘点西瓜微数新功能！
作为专业的微博数据平台,我们在优化各项功能的同时,也在不断开发更多新的功能,希望提供给大家更多有价值的数据服务,满足更多方面的用户需求.那么最近功能上又有哪些新变化呢?小微今天就带大家盘点一下! 01 ...
python 爬虫热搜_Python网络爬虫之爬取微博热搜
微博热搜的爬取较为简单,我只是用了lxml和requests两个库 1.分析网页的源代码:右键--查看网页源代码. 从网页代码中可以获取到信息 (1)热搜的名字都在的子节点里 (2)热搜的排名都在 ...
Python网络爬虫之爬取微博热搜
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
python爬虫微博热搜_Python网络爬虫之爬取微博热搜
微博热搜的爬取较为简单,我只是用了lxml和requests两个库 url= https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&am ...
python爬取微博热搜榜教程，python爬取微博热搜并存入表格
微博热搜的爬取较为简单,我只是用了lxml和requests两个库 url= https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&am ...
php获取微博热搜,Python获取微博热搜的方法
原标题:Python获取微博热搜的方法微博热搜的爬取需要用到lxml和requests两个库 url=https://s.weibo.com/top/summary?Refer=top_hot&am ...
随笔小记-广告拦截，卸载猎豹后，仍然弹出广告
随笔小记-广告拦截,卸载猎豹后,仍然弹出广告在卸载猎豹浏览器,仍然弹广告,特别在双十一期间,各种推销的流氓广告,十分恶心. 打开控制面板-卸载程序-找到 "主页安全防护发布者:Kings ...
xhtmlrenderer 将html转换成pdf，完美css，带图片，手动分页，解决内容断开的问题
xhtmlrenderer 将html转换成pdf,完美css,带图片,手动分页,解决内容断开的问题参考文章: (1)xhtmlrenderer 将html转换成pdf,完美css,带图片,手动分页 ...
【朝花夕拾】请解释下为什么鹿晗发布恋情的时候，微博系统会崩溃，如何解决？
题目:请解释下为什么鹿晗发布恋情的时候,微博系统会崩溃,如何解决? 出题人:阿里巴巴出题专家:江岚/阿里巴巴数据技术高级技术专家参考答案: A. 获取微博通过 pull 方式还是 push 方式 B ...

随笔小记--微博手动扩容来解决因新热搜“鹿晗关晓彤恋情”引起的down机

随笔小记--微博手动扩容来解决因新热搜“鹿晗关晓彤恋情”引起的down机相关推荐

最新文章

热门文章