数据仓库概念以及选型

数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。

数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等

ODS（Operation Data Store）：数据准备区，贴源层，直接接入源数据的：业务库，埋点日志，消息队列等，是数据仓库的准备区。

DWD（data warehouse details）：数据细节层，业务层和数据仓库的隔离层。

保持和ODS层一样的数据颗粒度；主要是对ODS数据层做一些数据的清洗和规范化的操作，比如去除空数据、脏数据、离群值等。

为了提高数据明细层的易用性，该层通常会才采用一些维度退化方法，将维度退化至事实表中，减少事实表和维表的关联

DWS（Data Warehouse Middle）：该层是基于DWM上的基础数据，整合汇总成分析某一个主题域的数据服务层，一般是宽表，用于提供后续的业务查询，OLAP分析，数据分发等。

ADS（Data Warehouse Service）：

该层主要是提供给数据产品和数据分析使用的数据，一般会存放在ES、Redis、PostgreSql等系统中供线上系统使用；也可能存放在hive或者Druid中，供数据分析和数据挖掘使用，比如常用的数据报表就是存在这里的。

数据仓库概念以及选型相关推荐

大数据项目之电商数仓、数据仓库概念、项目需求及架构设计
文章目录 1.数据仓库概念 2. 项目需求及架构设计 2.1 项目需求分析 2.1.1 采集平台 2.1.2 离线需求 2.1.3 实时需求 2.1.4 思考题 2.2 项目框架 2.2.1 技术选型 ...
数据仓库概念和项目架构
最近跟着尚硅谷做一个数据仓库项目,想以此项目来检验自己过去这段时间学习大数据技术的成果并以此提升自己,通过文章的方式记录自己做项目的过程,在项目中遇到的问题及解决过程,我都会记录在文章中,希望同时能帮 ...
从Hadoop框架来入门学习数据仓库概念
前言: 我了解数据仓库的时间很短, 所写的内容是一个初学者对数据仓库的理解, 所写的目的是以此作为自己梳理数据仓库概念的方法. 文中所用的图均来源于其他, 只是为了方便阅读的理解, 我也不太清楚怎么能 ...
关于存储优化型实例和大型数据仓库EC2实例选型
介绍些存储型实例的特性,以及大型数据仓库和大型NoSQL搭建在EC2实例上该如何选型下表是存储型实例的配置:
云端数据仓库的模式选型与建设
数据,对一个企业的重要性不言而喻,如何利用好企业内部数据,发挥数据的更大价值,对于企业管理者而言尤为重要.作为最传统的数据应用之一,数据仓库在企业内部扮演着重要的角色,构建并正确配置好数据仓库,对于数 ...
数据仓库概念扫盲，kimball和Inmon两大派系在争什么？
本文,是为了让大家更好的理解大数据经典架构的补充内容,主要介绍一下数据仓库相关的内容. 数据仓库(Data Warehouse,DW):由两个主要部分构成(一个整合的决策支持数据库 + 一个收集.清洗 ...
as5300g2 nas软件功能_【NAS教程】2.NAS的概念及选型
引言 NAS系列教程希望通过本文,你能对NAS有个概括性的了解. 本文介绍了NAS的概念. NAS可理解为带网口的硬盘. 该硬盘接到网络上供其他设备存取数据. 介绍了NAS的组成--硬件和系统. ...
计算机设备选型的基本原则,设备选型的概念和选型依据
根据山东省软件评测中心的定义,设备选型是指购置设备时,根据生产工艺要求和市场供应情况,按照技术上先进.经济上合理,生产上适用的原则,以及可行性.维修性.操作性和能源供应等要求,进行调查和分析比较,以确 ...
物联网关的概念与选型
一.什么是网关网关是一种充当转换重任的计算机系统或设备.在使用不同的通信协议.数据格式或语言,甚至体系结构完全不同的两种系统之间,网关是一个翻译器.与网桥只是简单地传达信息不同,网关对收到的信息要重 ...

数据仓库概念以及选型

数据仓库概念以及选型相关推荐

最新文章

热门文章