基础数据仓库环境搭建(一)数据仓库概述

2024-05-31 15:11:47

数据仓库简介

数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制.

数据仓库的特点

效率足够高
数据质量
扩展性

之所以有的大型数据仓库系统架构设计复杂，是因为考虑到了未来3-5年的扩展性，这样的话，未来不用太快花钱去重建数据仓库系统，就能很稳定运行。主要体现在数据建模的合理性，数据仓库方案中多出一些中间层，使海量数据流有足够的缓冲，不至于数据量大很多，就运行不起来了。

面向主题

操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。主题是与传统数据库的面向应用相对应的，是一个抽象概念，是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象。每一个主题对应一个宏观的分析领域。数据仓库排除对于决策无用的数据，提供特定主题的简明视图。

企业数仓模型

实时数仓

随着IT技术走向互联网、移动化，数据源变得越来越丰富，在原来业务数据库的基础上出现了非结构化数据，比如网站log，IoT设备数据，APP埋点数据等，这些数据量比以往结构化的数据大了几个量级，对ETL过程、存储都提出了更高的要求；

互联网的在线特性也将业务需求推向了实时化，随时根据当前客户行为而调整策略变得越来越常见，比如大促过程中库存管理，运营管理等（即既有中远期策略型，也有短期操作型）；同时公司业务互联网化之后导致同时服务的客户剧增，有些情况人工难以完全处理，这就需要机器自动决策。比如欺诈检测和用户审核。

总结来看，对实时数仓的的需求可以抽象成两方面：实时产生结果、处理和保存大量异构数据。

基础数据仓库环境搭建(一)数据仓库概述相关推荐

8、Hive数据仓库——环境搭建及简单使用
文章目录 Hive数据仓库--环境搭建及简单使用 Hive的安装和使用一.Linux的JDK的安装 (已经安装过JDK可以跳过此步骤) 二.离线安装MySQL(已经安装过MySQL可以跳过此步骤) ...
Spark学习之路一——Spark基础及环境搭建
Spark学习之路一--Spark基础及环境搭建文章目录一. Spark 概述 1.1 概述 1.2 优势特性 1.2.1 运行速度快 1.2.2 容易使用 1.2.3 通用性 1.2.4 运行模 ...
轩小陌的Python笔记：day01 计算机基础和环境搭建
day01 计算机基础和环境搭建课程目标:了解计算机的基础知识并完成python的环境搭建课程概要: 计算机基础编程的本质 Python的介绍 Python环境的搭建 1.计算机基础 1.1基本 ...
Redis之Redis基础、环境搭建、主从切换
Redis基础.环境搭建.主从切换一.Redis简介 1.引入NoSQL的背景 2.Redis简介二.环境部署 1.server1源码安装redis,并创建redis实例 2.server2主机, ...
Java从入门到实战总结-1.1、Java基础之环境搭建和eclipse安装
Java从入门到实战总结-1.1.Java基础之环境搭建和eclipse安装文章目录 Java从入门到实战总结-1.1.Java基础之环境搭建和eclipse安装 1.Hello Java 1.1. ...
Pytorch深度学习实战教程（一）：语义分割基础与环境搭建
Pytorch的基本使用&&语义分割算法讲解先从最简单的语义分割基础与开发环境搭建开始讲解. 二.语义分割语义分割是什么? 语义分割(semantic segmentation) ...
1 计算机基础和环境搭建
二刷路飞学院的Python全栈开发此课程是在2018年购买的,并在2019年下半年,学完了8章内容,并且让我成功跳槽找到了更好的工作,虽然现在已经又换了一家工作.但是,这个课程是让我全面的学习了Py ...
day01 计算机基础和环境搭建
day01 计算机基础和环境搭建课程目标:让大家了解计算机基础知识并完成python的环境搭建课程概要: 计算机基础编程的本质 python的介绍 python环境的搭建 1.计算机基础 1.1 ...
Pytorch深度学习实战教程：语义分割基础与环境搭建
一.前言许久没有更新技术博文了,给自己挖一个新坑:语义分割系列文章. 该系列文章的内容有: Pytorch的基本使用语义分割算法讲解先从最简单的语义分割基础与开发环境搭建开始讲解. 二.语义分割 ...

最新文章

热门文章