依托数据库生态,AnalyticDB for MySQL可以给用户提供分析场景下的标准解决方案,尤其是在大数据和性能要求较高的情况下AnalyticDB for MySQL的价值可以更好的体现。

MySQL用户为什么要单独构建数据仓库

为什么要单独构建数据仓库,而不是直接在MySQL数据库上运行分析查询?这个问题我上面文章提到过,为了回答这个问题,我们先来看下数据仓库与OLTP数据库之间的差别。数据仓库主要是针对批量写入和大量数据的读取操作,而OLTP数据库是针对持续写入操作以及大量的小规模读取操作。通常,数据仓库会因较高的数据吞吐量要求而使用非规范化模型,如星型模型和雪花模型。星型架构包含多个引用大量维度表的大型事实数据表。雪花型架构是星型架构的扩展,包含更加规范化的维度表。而OLTP数据库则使用高度规范化的模型,更适合高事务吞吐量的要求,对于复杂查询的性能很难满足用户要求。

规范化操作是一定要把分析查询拆分到数据仓库中,达到“臃肿”状态时再构建数据仓库是会付出迁移成本。直接在MySQL数据库上运行分析查询的缺点总结为:

  1. 很容易影响在线业务,只读实例扩展难,无法做到实时分析;
  2. 每月新增数据比较大情况下,需要定期手动做分库操作,从多个库检索数据进行分析,查询性能无法满足需求;
  3. 把数据统一抽取到大数据平台,技术门槛高,改造难度大耗时长。

什么是AnalyticDB for MySQL

几年前阿里云就意识到实时数据仓库的必要性,2015年AnalyticDB for MySQL肩负着阿里云实时数据仓库的使命上线公共云。AnalyticDB for MySQL是阿里云上唯一经过核心业务和超大数据量验证的实时数据仓库,其稳定性、规模性和性能是不容置疑的。AnalyticDB for MySQL是全球最快的数据仓库。全球最知名的数据管理系统评测标准化TPC组织公布了数据库领域分析性能基准测试最新排名:阿里云自研超大规模分析型数据库AnalyticDB正式荣登榜首,成为全球第一家通过TPC第三方严格审计认证的云上数仓产品。

AnalyticDB采用行列混存MPP技术,突破OLTP和传统数据仓库技术壁垒,最大优势是可以构建PB数据量下高性能和经济实用的数据仓库。全面兼容MySQL协议以及SQL:2003 语法标准,用户只需对现有业务进行少量更改,甚至不需要进行任何更改,即可把业务全部迁移到AnalyticDB for MySQL上来。因此,它已成为当今企业构建数据仓库和OLAP系统的理想选择。

解决方案架构图

架构简单,组件少,效率高。只需通过DTS把MySQL业务库数据实时同步到AnalyticDB for MySQL中,数据在AnalyticDB for MySQL实时数据仓库中进行加工处理和计算。

解决方案优势

  1. 实时性
    AnalyticDB for MySQL同时具有计算的实时性(计算在用户查询时发生,查询速度快,毫秒级返回)和数据的实时性(数据产生插入数仓后马上就可以查询到);
  2. 低成本和易扩展
    单节点最低1.30/小时,作为云上企业级数据仓库还易扩展的特性,高峰期实现秒级扩容。
  3. 简单易用
    全量+增量自动同步,数据入库简单、安全可靠;
  4. 高度兼容
    完全兼容MySQL,用户无须修改SQL,迁移成本极低;
  5. 生态丰富
    兼容常用BI、ETL和客户端工具,完备适配用户场景。

AnalyticDB for MySQL 典型应用场景

AnalyticDB for MySQL客户案例

递四方构建物流行业实时数仓

无他相机移动APP运营平台

写在最后

相比于大数据方案构建数仓,AnalyticDB for MySQL除了在实时性上有绝对优势外,使用简单也是不可或缺的优势。无需要储备大数据人才,数据库团队即可轻松玩转实时数据仓库,帮助公司节约至少百万成本。 AnalyticDB for MySQL 1元购活动正在火热进行中,限时续费包月八折,包年七折。你还等什么,赶紧来试用吧!

原文链接
本文为云栖社区原创内容,未经允许不得转载。

MySQL用户如何构建实时数仓相关推荐

  1. 快手基于 Flink 构建实时数仓场景化实践

    摘要:本文整理自快手数据技术专家李天朔在 5 月 22 日北京站 Flink Meetup 分享的议题<快手基于 Flink 构建实时数仓场景化实践>,内容包括: 快手实时计算场景 快手实 ...

  2. 首汽约车驶向极速统一之路!出行平台如何基于StarRocks构建实时数仓?

    作者:王满,高级数据架构工程师 首汽约车(以下简称 "首约")是首汽集团为响应交通运输部号召,积极拥抱互联网,推动传统出租车行业转型升级,加强建设交通强国而打造的网约车出行平台. ...

  3. 应用实践 | 海量数据,秒级分析!Flink+Doris 构建实时数仓方案

    作者 : 苏浩 业务背景 Advance Intelligence Group(领创集团)成立于 2016 年,是一家以 AI 技术驱动的科技集团,致力于通过科技创新的本地化应用,改造和重塑金融和零售 ...

  4. 智能湖仓架构实践:利用 Amazon Redshift 的流式摄取构建实时数仓

    Amazon Redshift 是一种快速.可扩展.安全且完全托管的云数据仓库,可以帮助用户通过标准 SQL 语言简单.经济地分析各类数据.相比其他任何云数据仓库,Amazon Redshift 可实 ...

  5. 亚马逊云科技智能湖仓架构实践:利用Amazon Redshift的流式摄取构建实时数仓

    Amazon Redshift是一种快速.可扩展.安全且完全托管的云数据仓库,可以帮助用户通过标准SQL语言简单.经济地分析各类数据.相比其他任何云数据仓库,Amazon Redshift可实现高达三 ...

  6. 数据运营时代,如何基于AnalyticDB构建企业实时数仓?

    摘要:万事万物每时每刻都在产生大量的数据,数据无处不在,数据化运营在今天的物流.零售.电商.金融等等行业中都有诸多成功的实践,但是如何降低企业大数据的建设门槛,使得大数据分析成为一种人人都可以获得的普 ...

  7. 如何基于 Apache Doris 与 Apache Flink 快速构建极速易用的实时数仓

    随着大数据应用的不断深入,企业不再满足离线数据加工计算的时效,实时数据需求已成为数据应用新常态.伴随着实时分析需求的不断膨胀,传统的数据架构面临的成本高.实时性无法保证.组件繁冗.运维难度高等问题日益 ...

  8. 基于Flink SQL构建流批一体实时数仓

    基于Flink构建流批一体的实时数仓是目前数据仓库领域比较火的实践方案.随着Flink的不断迭代,其提供的一系列技术特性使得用户构建流批一体的应用变得越来越方便.本文主要分享基于FinkSQL构建实时 ...

  9. 亚马逊云科技Serverless构建的实时数仓解决方案,助力猎豹降低30%成本

    也许你也听过这样一句话:"21世纪什么最贵?人才!"当数字经济全面席卷而来,这个问题的答案不可置否地变为了"数据".通过数据分析获取近乎实时的洞察,以驱动业务的 ...

最新文章

  1. 多线程共享全局变量以及锁机制
  2. linux 类型排序,Linux命令之排序命令sort使用实例
  3. 无所不答的“自动聊天AI”
  4. 【深度学习笔记】F1-Score
  5. python报错:ValueError: The truth value of an array with more than one element is ambiguous. Use a.any(
  6. 对四方继保实施嵌入式Linux开发培训
  7. cmd copy命令 文件复制【转】
  8. HDU-1241 Oil Deposits (DFS)
  9. 《操作系统》OS学习(二):启动、中断、异常
  10. PHP-redis中文帮助手册_set相关
  11. 标准C语言第四版答案第十章,谭浩强C语言 第十章课后习题
  12. java实现文章伪原创_网站伪原创的方法 - 百度搜狗360神马网站快速排名 - OSCHINA - 中文开源技术交流社区...
  13. 粤语翻译软件开发_粤语翻译器 带发音-粤语翻译器 带发音免费软件app安卓v2.3下载-SLY软件园...
  14. php xheditor 上传图片,codeigniter整合xheditor之后,xheditor上图片问题
  15. 模拟电路4(三极管的特性曲线和重要参数)
  16. 案例——蚂蚁金服初探,唯一的金融互联网生态...
  17. win10计算机升级系统,微软Win10升级助手
  18. 工业物联网企业logo设计思路分析
  19. 【8.8gzoj综合】贪|污排名【搜索二叉树】
  20. 《D o C P》学习笔记(6 - 1)Word Games

热门文章

  1. c语言线程经常段错误的是,由pthread_create引起的段异常
  2. 虚拟跳线软件干什么用的_视频教程:用 ESI 的虚拟跳线给你的声音添加效果
  3. 那些年踩过的Java异常,简直了!
  4. 计算机基础知识的重点,计算机基础知识重点
  5. java 变量作用域 c语言_C语言深入理解 - 常量与变量
  6. linux set权限,Linux 特殊权限set_uid(示例代码)
  7. 无法获取未定义或 null 引用的属性“text”_【CSS】是时候开始用 CSS 自定义属性了...
  8. js bind 传参、_js中的面向对象(一)
  9. android与web服务器建立连接失败,Android websocket连接失败
  10. java嵌入groovy脚本,java-如何捕获传递给Groovy脚本的参数?