阿里巴巴张瑞谈面向未来的数据库架构
本文讲的是阿里巴巴张瑞谈面向未来的数据库架构【IT168 评论】国内最受关注的数据库技术盛会——2017第八届中国数据库技术大会(DTCC2017)将于2017年5月11-13日如约而至。本届大会以“数据驱动?价值发现”为主题,汇集来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域的120多位技术专家,共同探讨Oracle、MySQL、NoSQL、云端数据库、智能数据平台、区块链、数据可视化、深度学习等领域的前瞻性热点话题与技术。大会共设定2大主场和20个技术专场,将吸引5000多名IT人士参会,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供最具价值的交流平台。
(更多大会精彩:http://tech.it168.com/topic/2017/5-10/DTCC2017/)
在大会上,来自阿里巴巴集团研究员张瑞带来了《面向未来的数据库体系架构的思考》的精彩分享。据张瑞介绍,目前,阿里数据库技术团队正在建设阿里下一代数据库技术体系,希望能够把阿里的成果、踩过的坑以及面向未来思考介绍和与会者做一些深入的探讨,能够为中国数据库技术的发展出一份力。
阿里巴巴集团研究员张瑞
据了解,AliSQL 是基于 MySQL 官方版本的一个分支,由阿里云数据库团队维护,目前也应用于阿里巴巴集团业务以及阿里云数据库服务。AliSQL 版本在强度和广度上都经历了极大的考验。最新的 AliSQL 版本不仅从其他开源分支比如Percona,MariaDB,WebScaleSQL 等社区汲取精华,也沉淀了阿里巴巴多年在 MySQL 领域的经验和解决方案。AliSQL 增加更多监控指标,并针对电商秒杀、物联网大数据压缩、金融数据安全等场景提供个性化的解决方案。
以电商的秒杀场景为例,对数据库而言,就是对一条记录的更新,因为事务的特点,单条记录的更新必须串行完成,但秒杀的特点,就是在某个时刻,大量的并发进行减库存,这就造成了大量的线程因获取不到锁而处在死锁检测状态,消耗了大量的CPU资源,最终导致系统无法响应,而引起雪崩效应。AliSQL针对这样的场景,提供了排队和限流的功能,经过了双11零点时刻高并发请求的考验,保持了系统的稳定性和持续吞吐能力。
对于未来,数据库技术应该不仅在数据库内核技术上创新,还应该实现数据库的弹性调度以及如何从自动化走向智能化。
在谈到数据库内核技术创新上,张瑞首次谈到了AliSQLX-Cluster (基于三副本Paxos/Raft协议的AliSQL),在性能上同城三副本与单机性能持平,并且可以异地部署,延时增加,但保持了高吞吐,同时具备网路抖动高容忍性。
从X-Cluster与MySQL Group Replication的对比测试(同IDC)中不难看出,在三节点同IDC部署,sysbench标准化测试 Insert场景,X-Cluster是MySQL GR 的2.4倍。
在异地对比测试中,三节点三地部署,sysbench标准化测试 Insert场景,X-Cluster(5.04万)是MySQL GR(0.85万)的5.94倍;响应延时X-Cluster(58ms)是MySQL GR(150ms)的38%。
对于自动数据生命周期管理,AliSQL依托热数据存储InnoDB引擎和冷数据存储RocksDB引擎实现了多引擎实现自动冷热数据分离。
众所周知,要想实现弹性调度的量大基础挑战是:容器化和计算存储分离。据张瑞介绍,AliSQL支持物理机、VM、Docker,可以保证容器性能与物理机持平,并且DB与其他应用混部,提升CPU利用率。
在存储计算分离上,由于25G网络,RDMA,SPDK等技术的发展,让大规模存储计算分离成为可能。通过数据库优化,减少网络IO,变离散IO为顺序IO,降低网络延迟带来的性能影响。与此同时,共享存储池,提升存储利用率。通过Erasure Code技术,降低副本数。
可以说,AliSQL是伴随着业务的发展一起成长起来的,经历过双11大促这样大压力的考验,同时也经历了阿里云各行各业用户差异化的需求,已是身经百战。
原文发布时间为:2017-05-11
本文作者:张存
本文来自云栖社区合作伙伴IT168,了解相关信息可以关注IT168
原文标题:阿里巴巴张瑞谈面向未来的数据库架构
阿里巴巴张瑞谈面向未来的数据库架构相关推荐
- 一个面向未来的数据库应使用哪些技术?
本文为PingCAP联合创始人兼CTO 黄东旭在TiDB DevCon 2019 上的演讲实录,分享了其对数据库行业大趋势以及未来数据库技术的看法. PingCAP其实并不是一个特别擅长发明名词的公司 ...
- OceanBase创始人阳振坤:什么是面向未来的数据库?
2019年11月19日,蚂蚁金服在北京举办"巅峰洞见·聚焦金融新技术"发布会,介绍2019双11支付宝背后的技术,并重磅发布全新OceanBase 2.2版本和SOFAStack双 ...
- TIDB,面向未来的数据库到底是什么?
背景 tidb这个技术名词很多同学或多或少都曾经耳闻过,但是很多同学觉得他是分布式数据库,自己的业务是使用mysql,基本使用不上这个技术,可能不会去了解他.最近业务上有个需求使用到了tidb,于是学 ...
- 构建面向未来的前端架构
❝ To build a house,you need to put one brick on top of another 「不积跬步无以至千里」 ❞ 大家好,我是柒八九. 今天,我们来讲讲在「前端 ...
- 共同探索企业级数据库架构之道路
2018云栖大会南京峰会企业级互联网架构专场,阿里巴巴高级数据架构师黄欢欢带来题为企业级数据架构探索之路的演讲.主要从企业数据库的发展现状.存在的问题以及企业级架构的需求开始谈起,针对其存在的问题提出 ...
- 面向未来,我们来聊一聊什么是现代化数据架构
在不那么遥远的旧 IT 时代,有这样一个段子--假如把数据库们"聚在一起"开会". Oracle: 我们需要企业级数据库. MySQL: Oracle 不开源. Post ...
- 五分钟DBA:浅谈伪分布式数据库架构
[IT168 技术]12月25日消息,2010互联网行业技术研讨峰会今日在上海华东理工大学召开.本次峰会以"互联网行业应用最佳实践"为主题,定位于互联网架构设计.应用开发.应用运维 ...
- 阿里巴巴数据库架构演进分析
阿里巴巴数据库架构演进分析 阿里巴巴架构的发展历程 (1999-2010) 数据架构日益复杂,和一个简单的页面所拥有的数据分析 大型互联应用的问题: 解决方案 UDSL热点缓存 阿里巴巴架构的发展历程 ...
- 音频文件 数据库存储_刚哥谈架构 (六) 谈谈数据库架构
无论是构建什么样的应用,大都离不开数据.而在应用的架构设计中,如何设计数据库,使用什么类型的数据库,就是一个架构师必须了解的.所有的数据库的共同点都是以某种方式存储数据,以某种接口来访问存储的数据.我 ...
最新文章
- 恢复Opera11.50地址栏的下拉列表按钮
- 正确配置Linux系统ulimit值的方法【转】
- bmp文件格式详细解析
- Oracle 通用查询:表、字段、表说明、所有用户、库版本
- 文件系统fsd hook (一)原理
- 自由自在休闲食品以创新助80后女孩成功创业
- python反转列表的三种方式
- 谈谈离散卷积和卷积神经网络
- BASIC-1_蓝桥杯_闰年判断
- 科大讯飞2020完整事件抽取系统(bert+数据集)
- 我使用的Chrome插件列表
- 使用particles.js实现网页背景粒子特效
- io 错误: socket closed_Tomcat NIO(9)IO线程Overall流程和关键类
- Unity C#笔记 委托事件
- java继承和接口连接怎么用_继承与接口的使用
- 贪心字典序最小问题poj3617
- [线段树实现区间最值]HDU5306 Gorgeous Sequence
- eclipse写代码比jcreator好用多了
- web微信授权登陆-配置篇
- java画乌龟_简单的实现java多线程——龟兔赛跑