双十一大概会产生多大的数据量呢,可能大家没概念,举个例子央视拍了这么多年电视新闻节目,几十年下来他存了大概80P的数据。而今年双11一天,阿里要处理970P的数据,做为一个IT人,笔者认为今年”双十一“阿里最大的技术看点有有以下两个:

  • 阿里的数据库,也就是刚刚拿下TPC冠军的OcceanBase,处理峰值也达到了骇人听闻的6100万次/秒,
  • 阿里核心系统百分百上云了。

如果把信息系统比做一个武林高手,那么如此之大的交易量代表了他的刚猛威武,而全面触云又代表他灵动飘逸。而能把刚猛和灵活完美结合是简直是神才能达到的境界。

上云虽好,但不适合大规模计算,由于底层与用户之间多了一个虚拟化层,所以云计算平台一般都会产生10%左右的调度损耗,而这10%的损耗也让很多密集计算型的应用场景不太合适使用云平台。所以站在IT视角,云计算也不太合适双十一的场景。那么阿里刚猛兼顾灵活的武功是如何练成的呢?

乾坤大挪移-Tair

通过阿里的官宣来看在Tair之前还有一个LVS的负载均衡层,不过那些都不是国产的自研技术,也不细表了。

Tair是阿里自研的开源缓存服务中间件(Github地址:。https://github.com/alibaba/tair)提供快速访问的内存(MDB引擎)/持久化(LDB引擎)存储服务,基于高性能、高可用的分布式集群架构,满足读写性能要求高及容量可弹性伸缩的业务需求,在双十一秒杀的体系内完成乾坤大挪移般的加速工作。

通常情况下,一个 Tair 集群中包含2台 Configserver 及多台 DataServer。其中两台 Configserver 互为主备。通过和 Dataserver 之间的心跳检测获取集群中存活可用的 Dataserver,构建数据在集群中的分布信息。Dataserver 负责数据的存储,并按照 Configserver 的指示完成数据的复制和迁移工作。Client 在启动的时候,从 Configserver 获取数据分布信息,根据数据分布信息,和相应的 Dataserver 进行交互,完成用户的请求。

其核心的模块就是Configserver,具体的代码在https://github.com/alibaba/tair/blob/master/src/configserver/conf_server_table_manager.cpp

以初始化函数为例:

using namespace std;void conf_server_table_manager::init(){ flag = client_version = server_version = server_bucket_count = server_copy_count = plugins_version = area_capacity_version = last_load_config_time = NULL;//初始化标志位migrate_block_count = NULL;hash_table = m_hash_table = d_hash_table = NULL;file_name = "";hash_table_deflate_data_for_client = hash_table_deflate_data_for_data_server = NULL;hash_table_deflate_data_for_client_size = hash_table_deflate_data_for_data_server_size = 0;file_opened = false;if(transition_version != NULL)//如不为空,则删除{delete transition_version;}if(recovery_version != NULL)//如不为空,则删除{delete recovery_version;}if(recovery_block_count != NULL) //如不为空,则删除{delete recovery_block_count;}transition_version = new uint32_t();recovery_version = new uint32_t();recovery_block_count = new int32_t();*transition_version = 0;*recovery_version = 0;*recovery_block_count = -1;}

凌波微步-SOFAStack:SOFAStack(Scalable Open Financial Architecture Stack)是阿里研发的一套开源的用于构建微服务的分布式中间件(Github地址:https://github.com/sofastack),微服务最大的优势就是方便灵活,与凌波微步的武功有异曲同工之妙。它包含了构建微服务体系的众多组件,包括研发框架、RPC 框架,服务注册中心,分布式链路追踪,Metrics监控度量、分布式事务框架、服务治理平台等,结合社区优秀的开源产品,可以快速搭建一套完善的微服务体系。

使用SOFAStack可以快速的构建出架构完整的微服务体系:

九阳神功-OceanBase:勇夺TPC冠军的OceanBase也是阿里自研的金融级关系型数据库,由于是其集群化的特性使其具备了有如九阳神功般取之不尽,用之不竭的内力。

笔者在前文《200行代码解读国产数据库阿里OceanBase的速度之源》 《揭秘OceanBase的王者攻略》已经对于这个数据库做了详尽的介绍,这里不再赘述。

武穆遗书-飞天操作系统:飞天(Apsara)是由阿里云自主研发、服务全球的超大规模通用计算操作系统。正所谓韩信点兵,多多益善,飞天能将百万级服务器连成一台超级计算机,还能有条不紊的通过云计算向用户提供计算能力。

我们看到在飞天的基础公共模块之上,有两个最核心的服务,一个是盘古,另一个是伏羲。盘古是存储管理服务,伏羲是资源调度服务,飞天内核之上应用的存储和资源的分配都是由盘古和伏羲管理。具体见下图:

飞天最底层是遍布全球的几十个数据中心,成百上千万台服务器,把这么多服务器连成一片变成一个整体,绝对是上乘的兵法才能做到的,所以飞天堪称是阿里“双十一“的武穆兵法。

真武七截阵-神龙云服务器: 在《倚天屠龙记》中真武七截阵是由张三丰创始的阵法,人数越多威力越强,而神龙云服务器也其最大的特点就是把虚拟化层的损耗几乎为零,随着物理服务数量的增多,性能却一点也不打折,堪称IT界的真武七截阵。

其最大亮点是阿里自研的MOC芯片,MOC是专门用于虚拟化层的调度服务,将宝贵的CPU与内存资源由复杂的云调度中解放出来,开创了一种新型的云服务器形式,神龙能与阿里云产品家族中的其他计算产品无缝对接。比如存储、网络、数据库等产品,完全兼容ECS云服务器实例的镜像系统,可以自由地在普通ECS实例以及神龙云服务器实例间变配,从而更多元化地结合客户的业务场景进行资源构建。

所以阿里的“双十一”既有顶级的武学又有强悍的阵法、兵法加持,所以才能达到如此的高度,不久前阿里的平头哥芯片公司发布了无剑平台,这可能也代表着阿里的技术体系已经到了既刚且灵的境界。不仅如此纵阿里的技术体系最令人惊喜的是这些技术全部出于国产自研,甚至大部分已经开源,相信今后国产的底层软件也会在阿里等龙头的带领下迎来爆发。

阿里靠什么武功秘籍渡过“双十一“的天量冲击相关推荐

  1. 魔教《3字魔经》为何优于其它武功秘籍?

    复原魔方6面,有以下几个步骤: 底棱归位,底角归位(底面复原) 中棱归位(第二层复原) 顶棱归位(顶面十字) 顶角面位(顶面复原) 顶棱归位 顶角归位 每一步可以用一个公式完成,学会这6个公式就能复原 ...

  2. fft谱分析的误差有哪些原因造成的?如何减小分析误差。_回归分析 | 闯荡数据江湖的武功秘籍...

    社会经济定量研究方法中用到的一些统计步骤分解到一定水平,就将是中心前期相关定量研究主题文章推送的目标: 这方面主要包括了相关关系研究.影响因素研究.综合评价研究.效率及有效性研究.预测.竞争力研究.产 ...

  3. 少林寺公布武功秘籍 揭开绝技神秘面纱(组图)

      白岩松:您好观众朋友,欢迎收看<新闻会客厅>.可能很多人在读过武侠小说的时候都会发现几乎很多武侠小说都有这样的一个共同的情节,就是不同的门派为了争夺一本武林秘籍打得不可开交.但是在现实 ...

  4. 勇敢码农,不怕困难!阿里内部不外传秘籍50万字Java面试手册奉上

    6月见底,现在可以说是备战金九银十的最佳时候了.为了让大家能在面试中过关斩将,小编特地找了在阿里的朋友要了这份阿里内部不外传秘籍:50万字Java面试手册. 这份面试手册涉及的技术栈非常全面而且足够细 ...

  5. 梅森素数、猜年龄、啤酒饮料、武功秘籍、调和级数、李白打酒、猜字母、扩散、三升序列、寻找2020

    梅森素数 题目 如果一个数字的所有真因子之和等于自身,则称它为"完全数"或"完美数" 例如:6 = 1 + 2 + 3 28 = 1 + 2 + 4 + 7 + ...

  6. 在“绝世武功的目录”RTR4中译版出版前,先奉上“绝世武功秘籍的本体”

            本文由@浅墨_毛星云 出品,转载请注明出处           CSDN版文章链接: https://qianmo.blog.csdn.net/article/details/1206 ...

  7. python武功秘籍解压密码_武林秘籍

    你好,我是一名极客!一个 75 后的老工程师! 我将花两分钟,表述清楚我喊你来这里的目的! 如果你看过武侠小说,你可以把这个经历理解为,你失足落入一个山洞遇到了一位垂暮 的老者!而这位老者打算传你一套 ...

  8. Problem D: 武功秘籍

    Problem D: 武功秘籍 Time Limit: 1 Sec  Memory Limit: 128 MB Description 小明到X山洞探险,捡到一本有破损的武功秘籍(2000多页!当然是 ...

  9. 【蓝桥杯JavaB组真题详解】武功秘籍(2014)

    题目描述 武功秘籍 小明到X山洞探险,捡到一本有破损的武功秘籍(2000多页!当然是伪造的). 他注意到:书的第10页和第11页在同一张纸上,但第11页和第12页不在同一张纸上. 小明只想练习该书的第 ...

  10. 设计模式总结——程序员的武功秘籍(上)

    万年前,人类用肢体力量来扩展地盘.获取食物,那时候比的是发育.后来人们学会了使用工具,开始利用石头.棍棒.再后来,人类有了文明,刀枪棍棒使得身体素质不是唯一决定强弱的唯一条件.再后来,一些聪明人根据人 ...

最新文章

  1. linux下apache+php+mysql升级安装过程
  2. 如何写出优雅的 Golang 代码
  3. Deep Learning and Shallow Learning
  4. python性能分析
  5. 增强学习(四) ----- 蒙特卡罗方法(Monte Carlo Methods)
  6. 视频直播点播nginx-rtmp开发手册中文版
  7. [NOIP2015提高组]运输计划
  8. Exchange Server 的防火墙开放端口
  9. oSIP开发者手册 (二)
  10. 详解mysql事务_详解MySQL执行事务的语法和流程
  11. ACM ICPC 历年真题和资源
  12. 1进程 ppid_Python每日3题什么是僵尸进程和孤儿进程?
  13. 阿里笔试2020/9/4
  14. 使用 Python 合并地图瓦片
  15. GPS设备定位的经纬度偏移转换
  16. 矩形波的傅里叶级数及代码
  17. 任意波形发生器的主要功能
  18. 最新系统[防黑屏版]BT及双网盘下载(ZZ)
  19. 年轻人,你的目标不该是成为斜杠青年
  20. 神奇的canvas——点与线绘制的绚丽动画效果

热门文章

  1. 计算机nas一般指用户,NAS网络存储器·什么是网络服务
  2. android怎么监听多点触摸_Android笔记:触摸事件的分析与总结----多点触控
  3. 如何写出如散文般的代码――《代码整洁之道》读书笔记(Ch1-Ch3)
  4. MC34063降压电路
  5. 计算机硬盘用u盘维修,电脑维修:U盘和移动硬盘及固态硬盘的区别
  6. zheng项目新建一个module学习学习
  7. 360随身wifi无线网卡linux,360随身wifi2代驱动,当usb无线网卡使用
  8. 警惕nmn 智商税,nmn抗衰老 骗局,另有隐情
  9. linux 命令详解 大于号_Linux 命令出现号(大于号)如何退出[组图]
  10. 【私有云平台的搭建——vSphere Client 的安装与配置】