作者 | 马超
责编 | 胡巍巍
出品 | CSDN(ID:CSDNnews)
今年“双十一“天猫的成交量达到了2684亿,虽然这个交易量如此之精巧,甚至可以使用机器学习的方法进行完美预测,以至于在社会上引发了一定的争议。
但是作为一个IT人,笔者认为今年”双十一“阿里最大的技术看点有有以下两个:
一、 阿里的数据库,也就是刚刚拿下TPC冠军的OcceanBase,处理峰值也达到了骇人听闻的6100万次/秒,
二、 阿里核心系统百分百上云了。
如果把信息系统比做一个武林高手,那么如此之大的交易量代表了他的刚猛威武,而全面触云又代表他灵动飘逸。而能把刚猛和灵活完美结合是简直是神才能达到的境界。
上云虽好,但不适合大规模计算,由于底层与用户之间多了一个虚拟化层,所以云计算平台一般都会产生10%左右的调度损耗,而这10%的损耗也让很多密集计算型的应用场景不太合适使用云平台。
所以站在IT视角,云计算也不太合适双十一的场景。那么阿里刚猛兼顾灵活的武功是如何练成的呢?
乾坤大挪移:Tair
通过阿里的官宣来看在Tair之前还有一个LVS的负载均衡层,不过那些都不是国产的自研技术,也不细表了。
Tair是阿里自研的开源缓存服务中间件(Github地址:。https://github.com/alibaba/tair)提供快速访问的内存(MDB引擎)/持久化(LDB引擎)存储服务,基于高性能、高可用的分布式集群架构,满足读写性能要求高及容量可弹性伸缩的业务需求,在双十一秒杀的体系内完成乾坤大挪移般的加速工作。
通常情况下,一个 Tair 集群中包含2台 Configserver 及多台 DataServer。其中两台 Configserver 互为主备。
通过和 Dataserver 之间的心跳检测获取集群中存活可用的 Dataserver,构建数据在集群中的分布信息。
Dataserver 负责数据的存储,并按照 Configserver 的指示完成数据的复制和迁移工作。
Client 在启动的时候,从 Configserver 获取数据分布信息,根据数据分布信息,和相应的 Dataserver 进行交互,完成用户的请求。
其核心的模块就是Configserver,具体的代码在https://github.com/alibaba/tair/blob/master/src/configserver/conf_server_table_manager.cpp
以初始化函数为例:
using namespace std;
void conf_server_table_manager::init()
{ flag = client_version = server_version = server_bucket_count = server_copy_count = plugins_version = area_capacity_version = last_load_config_time = NULL;//初始化标志位
 migrate_block_count = NULL;
 hash_table = m_hash_table = d_hash_table = NULL;
 file_name = "";
 hash_table_deflate_data_for_client = hash_table_deflate_data_for_data_server = NULL;
 hash_table_deflate_data_for_client_size = hash_table_deflate_data_for_data_server_size = 0;
 file_opened = false;
 if(transition_version != NULL)//如不为空,则删除
 {
 delete transition_version;
 }
 if(recovery_version != NULL)//如不为空,则删除
 {
   delete recovery_version;
 }
 if(recovery_block_count != NULL) //如不为空,则删除
 {
 delete recovery_block_count;
 }
 transition_version = new uint32_t();
 recovery_version = new uint32_t();
 recovery_block_count = new int32_t();
 *transition_version = 0;
 *recovery_version = 0;
 *recovery_block_count = -1;
}

凌波微步:SOFAStack

SOFAStack(Scalable Open Financial Architecture Stack)是阿里研发的一套开源的用于构建微服务的分布式中间件(Github地址:https://github.com/sofastack),微服务最大的优势就是方便灵活,与凌波微步的武功有异曲同工之妙。
它包含了构建微服务体系的众多组件,包括研发框架、RPC 框架,服务注册中心,分布式链路追踪,Metrics监控度量、分布式事务框架、服务治理平台等,结合社区优秀的开源产品,可以快速搭建一套完善的微服务体系。
使用SOFAStack可以快速的构建出架构完整的微服务体系:

九阳神功:OceanBase
勇夺TPC冠军的OceanBase也是阿里自研的金融级关系型数据库,由于是其集群化的特性使其具备了有如九阳神功般取之不尽,用之不竭的内力。

笔者在前文《200行代码解读国产数据库阿里OceanBase的速度之源》 《揭秘OceanBase的王者攻略》已经对于这个数据库做了详尽的介绍,这里不再赘述。

武穆遗书:飞天操作系统

飞天(Apsara)是由阿里云自主研发、服务全球的超大规模通用计算操作系统。
正所谓韩信点兵,多多益善。飞天能将百万级服务器连成一台超级计算机,还能有条不紊的通过云计算向用户提供计算能力。
我们看到在飞天的基础公共模块之上,有两个最核心的服务,一个是盘古,另一个是伏羲。
盘古是存储管理服务,伏羲是资源调度服务,飞天内核之上应用的存储和资源的分配都是由盘古和伏羲管理。具体见下图: 
飞天最底层是遍布全球的几十个数据中心,成百上千万台服务器,把这么多服务器连成一片变成一个整体,绝对是上乘的兵法才能做到的,所以飞天堪称是阿里“双十一“的武穆兵法。

真武七截阵:神龙云服务器

在《倚天屠龙记》中真武七截阵是由张三丰创始的阵法,人数越多威力越强,而神龙云服务器也其最大的特点就是把虚拟化层的损耗几乎为零,随着物理服务数量的增多,性能却一点也不打折,堪称IT界的真武七截阵。
其最大亮点是阿里自研的MOC芯片,MOC是专门用于虚拟化层的调度服务,将宝贵的CPU与内存资源由复杂的云调度中解放出来,开创了一种新型的云服务器形式,神龙能与阿里云产品家族中的其他计算产品无缝对接。
比如存储、网络、数据库等产品,完全兼容ECS云服务器实例的镜像系统,可以自由地在普通ECS实例以及神龙云服务器实例间变配,从而更多元化地结合客户的业务场景进行资源构建。 
所以阿里的“双十一”既有顶级的武学又有强悍的阵法、兵法加持,所以才能达到如此的高度,不久前阿里的平头哥芯片公司发布了无剑平台,这可能也代表着阿里的技术体系已经到了既刚且灵的境界。
不仅如此,阿里的技术体系最令人惊喜的是这些技术全部出于国产自研,甚至大部分已经开源,相信今后国产的底层软件也会在阿里等龙头的带领下迎来爆发。

【END】

想要入坑机器学习?这是MIT在读博士的AI心得

https://edu.csdn.net/topic/ai30?utm_source=csdn_bw

热 文 推 荐 

阿里双十一 5 大招式!相关推荐

  1. 听见丨阿里“双十一”成交总额1682亿 京东双十一累计下单金额1271亿

    阿里"双十一"成交总额1682亿! 根据阿里巴巴12日零点公布的数据,今年"双十一"天猫.淘宝总成交额1682亿元,刷新纪录. 阿里双11全天物流订单8.12亿 ...

  2. 阿里“双十一”决胜物流战 智能、开放才能走的更远

    "大考"."爆仓"是过去"双十一"关于物流的关键词,而从刚刚过去的2015年双十一来看,这两个词汇已然淡出了人们的视线,整个物流行业在未发生 ...

  3. 阿里双十一,3分01秒破百亿;乐视网称贾跃亭无力履行承诺;法乐第未来宣布解职CFO和CTO丨价值早报

    第[768]期早报由[周六]赞助播出 01 今日头条 阿里双11, 3分01秒破百亿 11月11日消息,今日凌晨零点,2017年双11正式开始.根据现场实时数据,双11开场28秒钟,淘宝系交易额超10 ...

  4. 今年阿里双十一CDN要冲历史之最,峰值带宽达到5000G+,来高手分析一下他们的CDN节点数量和规模...

    使用各种网络分析工具(http://speed.mmtrix.com)分析工具分析阿里CDN域名*.alicdn.com,得到以下分布信息. 电信:上海.西安.沈阳.兰州.武汉.南充.北京.东莞.乌鲁 ...

  5. 阿里云双十一1折,1C2G 1年仅99 !!一起来拼团!

    阿里云双十一1折,1C2G 1年仅99 !! 赶快来拼团 m.aliyun.com/act/team111- 转载于:https://juejin.im/post/5bdafdfef265da396c ...

  6. 双十一,作为老用户看我怎么优雅的薅阿里云羊毛!

    2019独角兽企业重金招聘Python工程师标准>>> 阿里云双11活动,我一分钱没花,白得了199元现金! 从阿里云官方网站进入看到,今年阿里云不走满返.满减路线了,开启了一个大型 ...

  7. 聚观早报|阿里、京东首次未公布双十一GMV;苹果开发搜索引擎

    今日要闻:阿里.京东首次未公布双十一GMV:富士康加薪招工追产能:推特或引入视频变现机制:苹果开发搜索引擎:义乌制造将亮相世界杯 阿里.京东首次未公布双十一GMV 4 年来首次,阿里.京东均未公布双十 ...

  8. 阿里自研实时计算平台支撑双十一

    本文讲的是阿里自研实时计算平台支撑双十一阿里巴巴11月7日宣布,其大数据团队自研的实时数据计算平台Galaxy ,目前每秒可运算数据超过500万条,预计双十一当天每秒运算量将超过1000万条,日处理消 ...

  9. 双十一:阿里区块链很厉害的样子

    时逢双十一,阿里这时候原本应该和竞争对手在主战场上厮杀,像往年一样打打口水战,为双十一吸引更多的流量才是.毕竟,现在处于凛冬的币圈并没有多少流量. 01 转场三次的抢戏 说到这场抢戏大战,要从11月3 ...

最新文章

  1. 「图文直播」CSDN 二十年,AI 赋能全新出发
  2. 华为、阿里员工跳槽至微软受抵制,微软当事人称:只是玩梗
  3. JAVA《第一次作业》
  4. P2473 [SCOI2008]奖励关
  5. YOLO v3解析与实现
  6. 游戏在ios和android,陈情令手游ios和安卓互通吗 ios和安卓能一起玩吗
  7. Java异常处理教程
  8. 如何查看QQ和微信查看授权过那些应用?
  9. 矩阵加法(信息学奥赛一本通-T1124)
  10. 编辑服务器上的文件,Sublime Text编辑远程Linux服务器上的文件
  11. for循环用i++和++i哪个效率高?
  12. 管理后台--4,删除分类
  13. Linux命令大全完整版
  14. 《斯坦福算法博弈论二十讲》学习笔记(持续更新)
  15. Java实现“斐波那契数列”的方法(循环,递归,优化递归)
  16. java倍数增长计算公式,增长倍数计算公式是什么
  17. echarts图表格式记录
  18. html文字溢出怎样处理,css文本溢出处理
  19. 情侣的网站代码java_GitHub - ByronCui/lovers-website: 程序员的情侣网站 (programmer's website of lovers)...
  20. 插件化Amigo-1

热门文章

  1. [论文翻译] Medical Matting: A New Perspective on Medical Segmentation with Uncertainty
  2. [论文阅读] An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
  3. 用来测试的mysql建表语句_软件测试基础——MySQL建库、建表SQL语句
  4. C++自定应线程安全数据结构(1)
  5. Flutter进阶—实现动画效果(九)
  6. Flutter进阶—质感设计之进度条
  7. 中国女性补体面膜市场趋势报告、技术动态创新及市场预测
  8. 中国1,3丁二醇市场趋势报告、技术动态创新及市场预测
  9. 2021年中国云应用服务市场趋势报告、技术动态创新及2027年市场预测
  10. 2021年中国单输入K型温度计市场趋势报告、技术动态创新及2027年市场预测