数据仓库(2)数仓、大数据与传统数据库的区别
文章来源:数据仓库(2)数仓、大数据与传统数据库的区别
数据仓库与大数据区别,数据仓库与数据库的区别,大数据与传统数据库的区别等等,这篇文章带你了解。
我们这里先来说说今天要对比的三个主体,数据仓库、大数据、数据库,在详细说明之前,我们先来说说这三个百度百科上面的定义。
数据仓库:为企业所有级别的决策制定过程,提供所有类型数据支持的战略(数据)集合。
大数据:所涉及的资料量规模巨大到无法透过主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
传统数据库:一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。
其实从三个定义,我们好像区别不大。
数据库指的是数据的集合,数据仓库也是一个数据集合,大数据也是一个处理和存储数据的地方。
但是不同的是,在于应用场景,和构建的技术原理不一样。
传统数据库是存储根据范式建模的关系型数据,主要用于OLTP(on-line transaction processing)翻译为联机事务处理的软件。大数据是根据map redurce范式构建的出局处理,存储的软件,主要用于OLAP是做分析处理。大数据和传统数据库,还有一个更大的区别在于,处理的数据量以及计算量的大小,当传统数据库,无法在人可以接受的短时间内计算出结果,那这个数据就叫大数据,需要使用到大数据技术处理。而数据仓库本质上是一种数据的处理方式,而不是一种基础软件,它可以依赖于传统数据库,也可以依赖大数据技术去构建。
这个扩展一下数据仓库与传统数据库应用的区别,有下面几点:
- 用途:传统数据库主要用于OLTP(on-line transaction processing)翻译为联机事务处理,即即时的系统交互,数据仓库主要用于OLAP(On-Line Analytical Processing)翻译为联机分析处理,从字面上来看OLTP是做事务处理,OLAP是做分析处理。从对数据库操作来看,OLTP主要是对数据的增删改,OLAP是对数据的查询。
- 建模:传统数据库主要使用范式建模,数据仓库可以根据需要采用范式建模或者现在互联网普遍使用的星形模型等。
- 使用技术:一般使用mysql等关系型数据库,数据仓库目前互联网行业更多的是使用hadoop等大数据技术,也有使用mysql等,可以根据实际情况搭建。
- 存储的数据:传统数据库只存储当前状态的数据,数据仓库需要存储历史状态的数据,用户对历史数据的回溯分析。
需要数据仓库资料可以点击这个领取数据仓库(13)大数据数仓经典最值得阅读书籍推荐
数据仓库(2)数仓、大数据与传统数据库的区别相关推荐
- 浅尝辄止:数据库--数仓大数据平台--数据中台
很久没有更新博客了,今天主要是想谈一谈自己工作几年总结的心得. 1.浅尝辄止 数据库:基于mysql,oracle来实现数据库分析(存储在数据库,使用数据库语言直接分析,最后成报表形式). 数仓&am ...
- 谈笑间学会数仓—大数据建模过程
谈笑间学会数仓-大数据建模过程 首先我们先来了解一下,大数据建模都需要遵循哪些原则呢?先来列举一下 建模原则 高内聚和低辑合 将业务相近或者相关.粒度相同的数据设计为一个逻辑或者物理模型:将高概率同 ...
- DBA观点分享:大数据对传统数据库的影响
文章讲的是 DBA观点分享:大数据对传统数据库的影响, 大数据趋势在2012年开始变得明显,Hadoop.NoSQL等技术的兴起,令传统数据库稳固的江山开始动摇."以不变应万变"不 ...
- 大数据与传统BI的区别在哪?
大数据和商业智能BI已不是陌生的词,但很多人都并不能很好区别这两者之间的关系,为了更好理解两者区别,我们大圣众包威客平台分享一篇来自网络的文章,从多个角度维度探讨大数据和BI的区别! 大数据与传统BI ...
- BI、数据仓库、ETL、大数据开发工程师有什么区别?
一味的解释 数据仓库 概念可能没意思,我们从不同角色出发吧 老板 :我是一家手机公司的老板,今天要向去董事局汇报,我要准备一份介绍过去三年的用户增长.用户留存.用户活跃度.手机里面每个APP使用率等情 ...
- 大数据演进简史:从数仓到数据中台,谈技术选型最优解
大家好,今天分享的议题主要包括几大内容: 带大家回顾一下大数据在国内的发展,从传统数仓到当前数据中台的演进过程: 我个人认为数据中台的核心组成,以及一些技术选型参考: 数据研发是数据中台很重要的一环, ...
- 数据仓库(9)数仓缓慢变化维度数据的处理
数据仓库的重要特点之一是反映历史变化,所以如何处理维度的变化是维度设计的重要工作之一.缓慢变化维的提出是因为在现实世界中,维度的属性并不是静态的,它会随着时间的流逝发生缓慢的变化,与数据增长较为快 ...
- 从数仓到数据中台,谈技术选型最优解
本文根据颜博老师在[Deeplus直播第218期]线上分享演讲内容整理而成. 颜博 马蜂窝数仓研发总监 现任马蜂窝数据仓库团队负责人,曾供职于京东.IBM.亚信等公司. 数据行业老兵一名,历经传统数据 ...
- 数据仓库(二) 数仓理论(重点核心)
文章目录 数据仓库(二) 数仓理论(重点核心) 数仓分层 数据仓库分层 ODS层 DWD层 DWS层 DWT层 ADS层 数据仓库分层的好处 关系建模与维度建模 关系建模 维度建模 星型模型 雪花模型 ...
- 数仓和数据中台长期霸权,数据湖最稳
随着信息化进程的加快,传统数仓越来越无法适应海量数据存储和分析的需求,天下苦数据仓库久矣! 只能存储结构化数据,无法采集存储非机构化数据: 无法存储原始数据,所有数据须经过ETL清洗过滤: 离线数仓的 ...
最新文章
- NeurIPS 2020 | 微软亚洲研究院论文摘录之强化学习GAN篇
- 自行开发驱动如何进行驱动签名
- 牛客网剑指offer编程实践41-50题
- linux dd 命令详解
- nuc972的ramfs的配置yaffs2,ubi文件系统
- 黄聪:C#索引器详解、示例
- Arturia Pigments for Mac - 数字波表双引擎合成器插件
- 关于 HTTP 长连接
- HTTPS是如何保证数据传输安全的?
- AcrGIS 做成本距离分析时提示ERROR 999999:无法启动配置 RasterCommander.ImageServer
- Flink 1.10之改进的TaskManager内存模型与配置/taskmanager.memory.network.fraction
- 根据子节点递归查询所有父节点
- C++ 单词转换例子
- 四川大学计算机学院软件工程期末,2015四川大学软件工程期末复习.doc
- Guava-Utilites学习测试类
- 百度 ping php,百度ping方法示例代码 自动ping百度
- 【运用flex制作携程界面练习笔记】
- 基于深度学习的图像语义分析及其应用
- 第五代TTS语音芯片SYN8086性能再突破
- DM7数据库DMAP服务异常,报错“ dmap init failed, code[-7157]: 管道文件已存在”