数据库和数据仓库联系和区别
数据库和数据仓库联系和区别
- 1、前言
- 2、来源
- 3、用途
- 4、特性不同
- 4.1 设计
- 4.2 优化
- 4.3 数据量
1、前言
不能简单的说数据仓库是数据库的扩大版,它们是针对不同的服务而产生的,传统的 数据库 针对(OLTP)联机事务处理,主要应用与业务处理。而 数据仓库 针对(OLAP)联机分析处理,主要为决策服务。
数据仓库的本质还是一个数据库,它将各个异构的数据源数据库的数据给统一管理起来,并且完成了质量较差的数据的剔除、格式转换,最终按照一种合理的建模方式来完成源数据组织形式的转变,以更好的支持到前端的可视化分析。
2、来源
数据库一般存储 在线交易数据,数据仓库存储的一般是 历史数据。
数据仓库中的数据来源归纳起来大体有3种:
结构化数据:一般来自于数据库,比如MySQL等关系型数据库的表中保存的记录(rows)。即承担OLTP功能的数据载体。这类数据最好处理,因为数据表达方式作为规范,约束性最好。
半结构化数据:该部分数据来源较多,包括用户行为日志(如app的页面访问记录)、平台或管理服务日志(tomcat、mysql等服务日志)等等,也包括存储于MongoDB等NoSQL数据库中的记录(Docs等)。这些数据一般以Json或XML等形式存在,在ETL时难度较大。
非结构化数据:包括图片、音频、视频和网页等,这些数据非常复杂,信息量也很大,一般不会直接抽取出来直接保存到数仓中,而是记录他们的元数据信息(metadata),举图片为例,可能保存该图片的产生时间、格式、大小等等,至于图片本身,一般通过url链接保存在对象或文件存储系统中。
3、用途
数据库:主要用于 事务处理,即 OLTP(Transaction),也就是我们常用的面向业务的增删改查操作。常用的数据库有 Mysql,Oracle,PostgreSQL。
数据仓库:主要用于 数据分析,即 OLAP(Analytics),供上层决策,常见于一些查询性的统计数据。常见的数仓有 Greenplum,Hive。基于MYISAM存储引擎的MySQL也是可以用来做数据仓库的。
4、特性不同
由于他们用途的不同,这也决定了他们具体不同的特点:
4.1 设计
数据库是为 捕获数据 而设计,数据仓库是为 分析数据 而设计。
数据仓库的方案建设的目的,是为前端查询和分析作为基础,由于有较大的冗余,所以需要的存储也较大。为了更好地为前端应用服务,数据仓库必须有如下几点优点,否则是失败的数据仓库方案。
- 效率足够高。
- 数据质量准确。
- 扩展性很好。
4.2 优化
数据库:因为是 事务性 操作,所以一般是 读写优化 的
数据仓库:因为是 数据分析,需要对大量数据进行查询,所以一般仅仅是 读优化 的
4.3 数据量
数据库:读写 相对 简单,一次只是对 少量数据 进行操作
数据仓库:查询 相对 复杂,一次要对 大量数据 进行操作
数据库和数据仓库联系和区别相关推荐
- MySQL数据库与数据仓库有什么区别
之前一直有这样的疑问,既然MySQL也可以做分析为什么还要数据仓(如Hive,Hbase等)?而且数据仓库的搭建如此麻烦,维护也不方便,还不如直接用MySQL. 存在即合理,我带着这些疑惑重新看了一些 ...
- 数据库与数据仓库有什么区别
数据库是数据根据需求设计的数据表的集合,而数据仓库只是储存数据的平台.数据仓库可以看成一个储存数据的仓库:而数据库是一个图书馆,储存的书是各种数据表.数据仓库,是在数据库已经大量存在的情况下,为了进一 ...
- 数据库和数据仓库联系与区别
1.概念 (1)数据库 数据库是存储没有经过任何加工的原始数据的,通过数据库软件实现.数据库有很多表组成,每张表里面又有很多字段,因此能够通过表的二维来表现三维的关系.如:Oracle.MySQL.D ...
- 数仓和mysql的区别_数据库和数据仓库的区别和联系
数据库与数据仓库的区别和联系https://www.zhihu.com/video/1252167793992593408 在以往我们和客户的沟通过程中,大家经常会问到这样的一个问题,数据库和数据仓库 ...
- 星型模型 3nf的区别_数据库和数据仓库的区别和联系
数据库与数据仓库的区别和联系https://www.zhihu.com/video/1252167793992593408 在以往我们和客户的沟通过程中,大家经常会问到这样的一个问题,数据库和数据仓库 ...
- 数据库和数据仓库的区别
简而言之,数据库是面向事务的设计,数据仓库是面向主题设计的. 数据库一般存储在线交易数据,数据仓库存储的一般是历史数据. 数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引 ...
- 数据库 、数据仓库、数据集市的区别与联系
一些刚进公司的同学有时候会问我,我们的数据库信息为什么有冗余呢,这个表的设计和之前学校学习的不一样呢,为什么不符合三范式呢等等.下面我会依次介绍下数据库.数据仓库.数据集市的概念以及他们之间的区别 ...
- 政府信息化与电子政务、企业信息化与电子商务、数据库和数据仓库的区别、商业智能系统处理过程、数据仓库结构图、数据挖掘、数据仓库和数据湖的对比
政府信息化与电子政务.企业信息化与电子商务.数据库和数据仓库的区别.商业智能系统处理过程.数据仓库结构图.数据挖掘.数据仓库和数据湖的对比 政府信息化与电子政务 企业信息化与电子商务 1.企业资源计划 ...
- 数据库、数据仓库和数据湖的区别
数据库 数据湖 数据仓库 一.区别: 数据湖作为一个集中的存储库,可以在其中存储任意规模的所有结构化和非结构化数据.在数据湖中,可以存储数据不需要对其进行结构化,就可以运行不同类型的分析. 数据仓库, ...
最新文章
- Castle ActiveRecord 泛型应用
- [转]Hyper-V功能大跃进 或引发市场洗牌
- 如何使div像星星一样,简易demo,授人以鱼,自行更改完善
- 信息学奥赛一本通(1090:含k个3的数)
- 吐血解决python中文写入文件问题
- 多媒体播放(windows音乐播放)
- C++ 基础 - woaidongmao - C++博客 good 量产
- 本科的控制工程到底学什么?
- c++ map是有序还是无序的_实现有序map之go
- java-->if顺序结构-->骰子游戏(小案例)
- 计算机硬盘检测不到,硬盘检测不到怎么解决
- windows下安装Bugzilla 2.18
- JDK1.6支持TSL1.2协议
- CC00229.CloudKubernetes——|KuberNetes细粒度权限控制.V13|——|Ratel.v01|k8s资源管理平台部署|
- 关于TypeError: e[h] is not a function的问题
- 使用代理后,雷鸟连接qq邮箱
- 天才小毒妃 第966章 不死不灭的痛苦
- 【cnpm】cnpm的安装方法(附详细步骤)
- X86架构PC服务器等硬件设备
- 深入了解jvm虚拟机