墨天轮访谈 | 阿里云捷熙:AnalyticDB,人人可用的数据分析服务
分享嘉宾:李婧玮(捷熙) 阿里云数据库资深产品经理
整理:墨天轮社区
导读
大家好,我是来自阿里云的捷熙。AnalyticDB是融合数据库、大数据技术于一体的云原生企业级数据仓库平台,今天我为大家带来的分享分为三个方面:AnalyticDB的诞生背景、AnalyticDB产品介绍、AnalyticDB 应用场景。
市场的挑战和趋势
1、全球市场的挑战
从全球市场上看,数据呈现出一个爆炸式的增长的趋势,更加偏向于生产处理的实时化,以及生产处理的智能化,数据库也正在朝着云原生的方向发展。
图1 全球市场挑战
2、业务趋势
数据变化的趋势也对数据处理带来了挑战。
首先要实现数据强一致,我们希望在数据的输入与处理中,保证数据不丢失。
第二点是做到分析实时性,对多元的数据源进行统一以及实时性分析。在过去更多的是做“T+1”的数据工作,即当天产生的数据需要在第二天来做处理与分析,而在当下我们希望能够演进到“T+0”的数据分析效果。
第三点的挑战来自数据系统的复杂性。在面对各种各样的数据源与数据分析系统,需要我们保留同一份数据的情况下进行多模与多元化的分析。
最后,学习与运维成本高的情况下,需要我们实现自运维。我们希望数据库从客户层面实现自运维、自恢复。
图2 数据处理面临新挑战
3、技术发展趋势
数据库的发展历经了从商业——开源——分析——异构——云原生、一体化分析式、多模、HTAP的不同阶段。基于云计算技术能够实现资源的高效池化和隔离,因此在下一个阶段我们希望在云计算技术基础之上,研发云原生和一体化分布式的数据库。
图3 数据库发展历程
下图是数据库在技术架构上的变化,从单节点逐渐演进到统一元数据。
图4 数据库架构发展演进
AnalyticDB产品介绍
1、构建新一代数据存储、处理方案
AnalyticDB是云原生数据仓库与数据构建的新一代数据存储处理方案的产品。
底层支持各式的数据源以及数据处理,数据的传输通过通过ETL的方式传输到数据湖中间。目前提供两种不同的生态,AnalyticDB MySQL版以及AnalyticDB PostgreSQL版。同时,我们也会支持一体化数据管理同步加工的工具帮助数据实现一站式的服务。
图5 云原生产品架构
2、人人可用的数据分析
作为融合数据库、大数据技术于一体的云原生企业级数据仓库服务,AnalyticDB具有以下六点优势:
- 标准SQL,简单易用:会SQL就会数据分析,就会用大数据;
- 云原生:存算分离,秒级弹性扩缩容
- 低成本:按需存储,冷热数据分层,存储成本下降3-10倍
- 性能强劲:在2020年TPC权威测评中位列全球第一
- 数据共享:真正跨实例的“一写多读”,避免数据孤岛
- 湖仓一体:原生湖仓一体的数据分析平台
除此之外,AnalyticDB基于行列存储、混合负载管理、智能索引、融合计算引擎这几项技术的提供,从而在使用中能够满足以下三种应用场景,多维分析、明细查询、实时高吞吐查询和写入。
图6 AnalyticDB设计愿景
作为拥有完全自主知识产权的数据仓库产品,AnalyticDB获得了专业领域的认可并通过多项测评。在2020年5月全球权威数仓性能评测 TPC-H中,AnalyticDB PostgreSQL版荣获第一;在2020年6月全球权威数仓性能评测 TPC-DS中,AnalyticDB MySQL版荣获第一。
图7 AnalyticDB获得专业领域认可
3、云原生产品架构
下面展示AnalyticDB的产品架构,MPP数据库架构+在离线一体化+Serverless。 第一层是接入层,中间为计算层,第三层是存储层。其中计算层提供了不同的计算引擎,可以配置不同的资源组,来实现不同的计算和查询的融合分析的服务。
图8 AnalyticDB产品架构
同时AnalyticDB 提供了冷热数据分层的技术,帮助实现冷热分层、冷热策略轻松定义、冷热分区自动迁移、外部接口统一、内部闭环实现。
图9 AnalyticDB提供冷热数据分层技术
不仅如此,我们可以通过资源组来支持不同的计算引擎的混合负载。
客户通过接入层进入到数据库之后,可以分一个资源组作为默认资源组用于在线分析,也可以用一个新的资源组用于落盘的分析,在另外一个新的资源组上面去做算法分析。
所有的分析服务都可以通过不同的资源组的维度来提供,在同一个实例上面可以支持多种的数据场景,从而大大减少了数据迁移中带来的这个时间成本和运维成本。
图10 AnalyticDB实现一份数据多场景
应用场景
1、游戏运营分析
游戏领域的竞争非常激烈,在互联网高速增长的同时,流量成本不断升高,市场营销开始往精细化发展。在这样的背景下,需要游戏运营平台实现精细化运营、效果实时反馈,而传统的Hadoop大数据平台存在扩展性繁琐、难用、实时性差、性价比低等问题。
“POLARDB + DTS + ADB大存储+ ADB高性能”产品组合打造出新一代游戏买量市场实时数据运营分析平台,极大的提升了业务体验,促进投放效率转化,同时达到了降低总成本高达300%的理想效果。
充分挖掘数据价值,帮助分析性能产生了5-10倍的提升,极大的提升了业务体验,促进了买量市场的投放效率转化。基于玩家行为日志表日益增长,日增长过亿数据量,通过ADB存储密集型实例进行存储和分析,有效地降低的客户的总体使用成本,总成本下降高达300%
图11 应用场景一:游戏运营分析
2、制造营销
在制造营销的场景中,存在着不同业务数据分析能力低效、多渠道数据汇聚多、运维数据难度高的痛点。
BI+AnalyticDB打造了在离线一体化数据平台,实现了加速销售端数字化转型,解决大量线下成本的效果。
图12 应用场景二:制造营销
3、多模分析、全文检索
原有的数据治理架构存在着数据一致性无法保障、数据冗余存放、性价比低等痛点。通过替换AnalyticDB,达到了大大简化了业务系统架构、大幅降低存储成本、降低计算成本的效果。
图13 应用场景三:多模分析、全文检索
4、企业级数仓
AnalyticDB在企业级数仓中也能发挥极大的作用,以其强大的批处理和多维度复杂分析能力支撑用户包括ETL、CRM和在线分析报表等多种功能,为商家订单管理、仓储管理、分销管理和协同供应链等功能提供有力分析支持,并且基于财务和经营数据,为商家提供快速经营报表、分析、测算工具系统。
图14 应用场景四:企业级数仓
以上就是我今天分享的全部内容,谢谢大家!
更多精彩内容,欢迎大家观看现场视频回放与会议资料
视频回放:https://www.modb.pro/video/6389
会议资料:https://www.modb.pro/doc/61411
- 查看原文:https://www.modb.pro/db/407974
- 查看【国产数据库沙龙】实时数仓专场文章、视频回放资源:https://www.modb.pro/topic/405214
欲了解更多可以进入
墨天轮访谈 | 阿里云捷熙:AnalyticDB,人人可用的数据分析服务相关推荐
- 墨天轮访谈 | 百度云邱学达:GaiaDB如何解决云上场景的业务需求?
分享嘉宾:邱学达 百度云原生数据库资深技术专家 整理:墨天轮社区 导读 业务上云的大背景对弹性与可靠性的要求越来越高,传统架构的单机数据库或是分片数据库已经很难支撑快速增长的业务,导致单机瓶颈.扩容缩 ...
- 墨天轮访谈 | 华为云温云博:从客户视角出发,GaussDB(for Redis)究竟“香”在哪里?
分享嘉宾:温云博 华为云数据库NoSQL团队研发工程师 整理:墨天轮社区 导读 GaussDB(for Redis)采用云原生分布式架构,完全兼容Redis协议,支持丰富数据类型. 提供数据实时持久化 ...
- 阿里云原生数据仓库AnalyticDB MySQL版学习
阿里云原生数据仓库AnalyticDB MySQL版是融合数据库.大数据技术于一体的阿里云原生企业级数据仓库服务.AnalyticDB MySQL版支持高吞吐的数据实时增删改.低延时的实时分析和复杂E ...
- 【沉淀】一张表的设计优化节省了两百万,客户不断盛誉……,这背后他究竟做对了什么?——记访谈阿里云汪建明...
<沉淀>是云栖社区展示专家风采的人物栏目.它呈现每个专家独一无二的人生经历.认识和感悟的同时,也能帮助你沉淀技术,收获对技术和人生的判断.我们的想法是:"若你想精进为一个很厉害的 ...
- 【沉淀】懵懂入行,但一做就沉心钻研十年——记访谈阿里云SQL Server专家杨钊...
<沉淀>是云栖社区展示专家风采的人物栏目.它呈现每个专家独一无二的人生经历.认识和感悟的同时,也能帮助你沉淀技术,收获对技术和人生的判断.我们的想法是:"若你想精进为一个很厉害的 ...
- 懵懂入行,但一做就沉心钻研十年——记访谈阿里云SQL Server专家杨钊
杨钊,花名石沫,阿里云SQL Server数据库专家.在数据库设计.开发与规范,数据高可用与容灾,数据库的优化,数据库的自动化和智能化方向积累大量的经验,处理过超大群集和超高并发场景的业务. 作为一个 ...
- 【阿里云产品公测】高大上的搜索服务OpenSearch, 你值得拥有!
2019独角兽企业重金招聘Python工程师标准>>> [阿里云产品公测]高大上的搜索服务OpenSearch, 你值得拥有! 作者:阿里云用户trcher 一.前言: 在Open ...
- 阿里云天池学习赛-零基础入门数据分析-学术前沿趋势分析(task1)
阿里云天池学习赛零基础入门数据分析-学术前沿趋势分析 前言 一.赛题描述及数据说明 1:数据集的格式如下: 2:数据集格式举例: 二.task1论文数量统计(数据统计任务):统计2019年全年,计算机 ...
- 阿里云自定义RAM策略之【对象存储服务(OSS)的权限】
阿里云自定义RAM策略之[对象存储服务(OSS)的权限] 如果系统策略无法满足您的需求,您可以通过创建自定义策略实现精细化权限管理. 在网上查阅资料很少有针对OSS的自定义策略说法 场景:给运营人员使 ...
最新文章
- 偷天换日——新型浏览器劫持木马“暗影鼠”分析
- 科大奥锐实验报告霍尔效应_中科大929半导体物理专业课高分学长考研经验
- CKEditor的使用方法
- Mono 的Virtual PC 虚拟机
- Enterprise Library 1.0
- html js 禁用浏览器上下滑动,原生javascript实现禁止浏览器滚动,滚动条不消失代码...
- ReactiveCocoa之UI篇
- Redis中什么是Big Key(大key)问题?如何解决Big Key问题?
- [轻音乐] - 理查德·克莱德曼专辑[8CD]
- 机器学习 主成分分析(Principal Component Analysis)
- 支付宝小程序对接流程和工具类
- 词向量介绍以及Word2Vec的pytorch实现
- 用python玩转数据慕课答案_大学慕课用Python玩转数据章节测验答案
- LINUX新手入门及安装配置FAQ(http://bbs.blueidea.com/viewthread.php?tid=635906amp;page=)
- win7修复计算机消失,win7系统引导文件丢失的修复妙招
- OpenAI CEO Sam Altman:巨型 AI 模型时代即将终结!
- RGB 与 BGR 颜色深度、像素和字节之间的关系
- 每周leetcode - 02链表专题 237/83/234/138/92/142/Offer 22/148/23/24/147/86/61/328/2/Offer06
- [声学测试学习1]声学相关基础知识
- python代码画龙猫_简笔画:如何使用Flash绘制龙猫 大师来详解