大数据平台与传统数仓的区别

基于关系数据库的传统数仓
➢ 基本特点
• 数据源：关系数据库（如Oracle、DB2、MySQL等）
• 数据仓库和数据集市：关系数据库或MPP（如Teradata、Vertica、Greenplum）
• 数据类型：结构化数据
• 数据规模：GB~TB级
• 数据分析：用SQL进行简单的统计报表分析

✓ 数据规模巨大（Volume）
✓ 生成和处理速度极快（Velocity）
✓ 数据类型多样（Variety）
✓ 价值巨大但密度较低（Value）

传统数仓面临的挑战- 越来越多样的业务需求

离线业务与在线业务并存

分析型业务与检索型业务并存

结构化数据与非结构化数据并存

对事务支持的需求

传统数仓面临的挑战- 四个能力不足

存储管理能力不足

无法支撑海量多源异构数据的灵活高效存储
无法实现基于SQL的异构数据统一管理和访问

综合搜索能力不足

无法实现PB级半/非结构化数据的组合、全文和语义搜索
无法实现千亿级数据搜索的秒级返回

分析挖掘能力不足

计算任务井喷式增长，系统不堪重负
无法支撑PB级异构数据的快速分析和深度挖掘

实时处理能力不足

无法实现流式数据的实时接入、复杂事件处理和机器学习
开发门槛高，不支持用SQL编写流应用

关注公众号发送 jddsj 获取《京东大数据技术白皮书》。

大数据平台与传统数仓的区别相关推荐

大数据架构详解_【数据如何驱动增长】（3）大数据背景下的数仓建设 amp; 数据分层架构设计...
背景了解数据仓库.数据流架构的搭建原理对于合格的数据分析师或者数据科学家来说是一项必不可少的能力.它不仅能够帮助分析人员更高效的开展分析任务,帮助公司或者业务线搭建一套高效的数据处理架构,更是能够从 ...
数据中台精华问答 | 数据中台和传统数仓的区别是什么？
中台系统把业务层同性的算法能力,服务能力,业务能力高度集成,有效组织 ,动态规划.更好的帮助上层业务. 今天就让我们看看关于数据中台的问答吧. 1 Q : 什么是数据中台? A : 数据中台是指通过数 ...
大数据电商离线数仓项目-上篇
下一篇:电商数仓项目-下篇文章目录第1章数仓分层 1.1 为什么要分层 1.2 数据集市与数据仓库概念 1.3 数仓命名规范 1.3.1 表命名 1.3.2 脚本命名 1.3.3 表字段类型第 ...
大数据实战项目 -- 离线数仓
一.数仓规划 1.1 集群规划技术选型位置框架数据采集传输 Flume,Kafka,Sqoop ,Logstash,DataX, 数据存储 MySql,HDFS,HBase,Redis,Mon ...
大数据旅游项目(离线数仓实战)
文章目录大数据旅游项目 1 项目分析 1.1 项目分析流程图 2 项目前期准备 2.1 hdfs权限验证 3 数仓前期准备 3.1 本地创建对应账号(root权限) 3.2 hdfs创建分层对应目录 ...
大数据电商离线数仓项目-下篇
上一篇:电商数仓系统1 文章目录第5章数仓搭建-DWS层 5.1 业务术语 5.2 系统函数 5.2.1 nvl函数 5.2.2 日期处理函数 5.2.3 复杂数据类型定义 5.3 DWS层 5. ...
大数据面试演讲稿离线数仓实时分析
有关大数据学习资源,请关注微信公众号"码农书斋".回复"大数据",免费获取学习视频.源码及资料! 自我介绍面试官好! 我叫xxx,xxx年毕业于xxx ...
支撑EB级规模的大数据平台深度揭秘
编者按: 4月20日,云栖大会走进深圳,由阿里云高级数据仓库专家陈鹏宇(花名:不老)分享的环节内容量巨大,引发现场用户关注.他分享的议题主要围绕阿里云数加平台,这一发布不久的大数据平台对很多人来说还比 ...
实时数仓到底是什么呢？与传统数仓有什么区别？
数仓,即存放数据的仓库,包括全量数据.历史数据.类型上又分为实时数仓.离线数仓,所谓实时数仓是指数据的实时性更高.延迟性低,一般是统计一天以内的数据,支持毫秒级的统计,在建设工具上一般采用Flink, ...
独家解读！阿里首次披露自研飞天大数据平台技术架构
9 月 26 日,阿里云飞天大数据平台在云栖大会第二天主论坛上正式对外发布,这也是阿里首次对外披露飞天大数据平台的整体架构. 据介绍,飞天大数据平台由阿里自主研发,可扩展至 10 万台计算集群,是目前 ...

大数据平台与传统数仓的区别

传统数仓面临的挑战- 越来越多样的业务需求

传统数仓面临的挑战- 四个能力不足

大数据平台与传统数仓的区别相关推荐

最新文章

热门文章