数据库和数据仓库联系和区别

  • 1、前言
  • 2、来源
  • 3、用途
  • 4、特性不同
    • 4.1 设计
    • 4.2 优化
    • 4.3 数据量

1、前言

不能简单的说数据仓库是数据库的扩大版,它们是针对不同的服务而产生的,传统的 数据库 针对(OLTP)联机事务处理,主要应用与业务处理。而 数据仓库 针对(OLAP)联机分析处理,主要为决策服务。

数据仓库的本质还是一个数据库,它将各个异构的数据源数据库的数据给统一管理起来,并且完成了质量较差的数据的剔除、格式转换,最终按照一种合理的建模方式来完成源数据组织形式的转变,以更好的支持到前端的可视化分析。

2、来源

数据库一般存储 在线交易数据,数据仓库存储的一般是 历史数据

数据仓库中的数据来源归纳起来大体有3种:

  • 结构化数据:一般来自于数据库,比如MySQL等关系型数据库的表中保存的记录(rows)。即承担OLTP功能的数据载体。这类数据最好处理,因为数据表达方式作为规范,约束性最好。

  • 半结构化数据:该部分数据来源较多,包括用户行为日志(如app的页面访问记录)、平台或管理服务日志(tomcat、mysql等服务日志)等等,也包括存储于MongoDB等NoSQL数据库中的记录(Docs等)。这些数据一般以Json或XML等形式存在,在ETL时难度较大。

  • 非结构化数据:包括图片、音频、视频和网页等,这些数据非常复杂,信息量也很大,一般不会直接抽取出来直接保存到数仓中,而是记录他们的元数据信息(metadata),举图片为例,可能保存该图片的产生时间、格式、大小等等,至于图片本身,一般通过url链接保存在对象或文件存储系统中。

3、用途

数据库:主要用于 事务处理,即 OLTP(Transaction),也就是我们常用的面向业务的增删改查操作。常用的数据库有 Mysql,Oracle,PostgreSQL

数据仓库:主要用于 数据分析,即 OLAP(Analytics),供上层决策,常见于一些查询性的统计数据。常见的数仓有 Greenplum,Hive。基于MYISAM存储引擎的MySQL也是可以用来做数据仓库的。

4、特性不同

由于他们用途的不同,这也决定了他们具体不同的特点:

4.1 设计

数据库是为 捕获数据 而设计,数据仓库是为 分析数据 而设计。

数据仓库的方案建设的目的,是为前端查询和分析作为基础,由于有较大的冗余,所以需要的存储也较大。为了更好地为前端应用服务,数据仓库必须有如下几点优点,否则是失败的数据仓库方案。

  • 效率足够高。
  • 数据质量准确。
  • 扩展性很好。

4.2 优化

数据库:因为是 事务性 操作,所以一般是 读写优化

数据仓库:因为是 数据分析,需要对大量数据进行查询,所以一般仅仅是 读优化

4.3 数据量

数据库:读写 相对 简单,一次只是对 少量数据 进行操作

数据仓库:查询 相对 复杂,一次要对 大量数据 进行操作

数据库和数据仓库联系和区别相关推荐

  1. MySQL数据库与数据仓库有什么区别

    之前一直有这样的疑问,既然MySQL也可以做分析为什么还要数据仓(如Hive,Hbase等)?而且数据仓库的搭建如此麻烦,维护也不方便,还不如直接用MySQL. 存在即合理,我带着这些疑惑重新看了一些 ...

  2. 数据库与数据仓库有什么区别

    数据库是数据根据需求设计的数据表的集合,而数据仓库只是储存数据的平台.数据仓库可以看成一个储存数据的仓库:而数据库是一个图书馆,储存的书是各种数据表.数据仓库,是在数据库已经大量存在的情况下,为了进一 ...

  3. 数据库和数据仓库联系与区别

    1.概念 (1)数据库 数据库是存储没有经过任何加工的原始数据的,通过数据库软件实现.数据库有很多表组成,每张表里面又有很多字段,因此能够通过表的二维来表现三维的关系.如:Oracle.MySQL.D ...

  4. 数仓和mysql的区别_数据库和数据仓库的区别和联系

    数据库与数据仓库的区别和联系https://www.zhihu.com/video/1252167793992593408 在以往我们和客户的沟通过程中,大家经常会问到这样的一个问题,数据库和数据仓库 ...

  5. 星型模型 3nf的区别_数据库和数据仓库的区别和联系

    数据库与数据仓库的区别和联系https://www.zhihu.com/video/1252167793992593408 在以往我们和客户的沟通过程中,大家经常会问到这样的一个问题,数据库和数据仓库 ...

  6. 数据库和数据仓库的区别

    简而言之,数据库是面向事务的设计,数据仓库是面向主题设计的. 数据库一般存储在线交易数据,数据仓库存储的一般是历史数据. 数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引 ...

  7. 数据库 、数据仓库、数据集市的区别与联系

      一些刚进公司的同学有时候会问我,我们的数据库信息为什么有冗余呢,这个表的设计和之前学校学习的不一样呢,为什么不符合三范式呢等等.下面我会依次介绍下数据库.数据仓库.数据集市的概念以及他们之间的区别 ...

  8. 政府信息化与电子政务、企业信息化与电子商务、数据库和数据仓库的区别、商业智能系统处理过程、数据仓库结构图、数据挖掘、数据仓库和数据湖的对比

    政府信息化与电子政务.企业信息化与电子商务.数据库和数据仓库的区别.商业智能系统处理过程.数据仓库结构图.数据挖掘.数据仓库和数据湖的对比 政府信息化与电子政务 企业信息化与电子商务 1.企业资源计划 ...

  9. 数据库、数据仓库和数据湖的区别

    数据库 数据湖 数据仓库 一.区别: 数据湖作为一个集中的存储库,可以在其中存储任意规模的所有结构化和非结构化数据.在数据湖中,可以存储数据不需要对其进行结构化,就可以运行不同类型的分析. 数据仓库, ...

最新文章

  1. Castle ActiveRecord 泛型应用
  2. [转]Hyper-V功能大跃进 或引发市场洗牌
  3. 如何使div像星星一样,简易demo,授人以鱼,自行更改完善
  4. 信息学奥赛一本通(1090:含k个3的数)
  5. 吐血解决python中文写入文件问题
  6. 多媒体播放(windows音乐播放)
  7. C++ 基础 - woaidongmao - C++博客 good 量产
  8. 本科的控制工程到底学什么?
  9. c++ map是有序还是无序的_实现有序map之go
  10. java-->if顺序结构-->骰子游戏(小案例)
  11. 计算机硬盘检测不到,硬盘检测不到怎么解决
  12. windows下安装Bugzilla 2.18
  13. JDK1.6支持TSL1.2协议
  14. CC00229.CloudKubernetes——|KuberNetes细粒度权限控制.V13|——|Ratel.v01|k8s资源管理平台部署|
  15. 关于TypeError: e[h] is not a function的问题
  16. 使用代理后,雷鸟连接qq邮箱
  17. 天才小毒妃 第966章 不死不灭的痛苦
  18. 【cnpm】cnpm的安装方法(附详细步骤)
  19. X86架构PC服务器等硬件设备
  20. 深入了解jvm虚拟机

热门文章

  1. GitWeb服务器搭建
  2. 学计算机的都是傻子?《打工人的点点思考》
  3. 小旋风蜘蛛池X6.21去除授权站群+修复空白+弹窗
  4. 双位置继电器ST2-2L/AC220V
  5. HTML乘法器制作,一种单象限乘法器的制作方法
  6. Mac-如何在任意文件夹下打开终端
  7. Centos搭建简单的证书机构,CA证书服务器
  8. 基于联邦学习中毒攻击的防御策略
  9. wpf MessageBox 消息框
  10. JSP简介-什么是Java Server Pages?