数据仓库系列之总线架构
总线架构是数据仓库建设的总体规划，从整体视角描述了解决方案的维度模型，描述了各个子系统的功能以及关系，描述数据从源系统到决策系统的数据流程，提供建立企业数据仓库系统的增量式方法。业务需求回答了要做什么，总线架构就是回答怎么做的问题。
一、整体解决方案架构：
数据仓库的核心功能从源系统抽取数据，通过清洗、转换、标准化，将数据加载到BI平台，进而满足业务用户的数据分析和决策支持。数据仓库整体解决方案架构包含三个部分：源数据、 数据仓库、数据应用。
二、数据仓库分层架构：
数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自下而上流入数据仓库后向上层开放应用，而数据仓库可以是数据中心管控平台。
源数据层（ODS）：此层数据无任何更改，直接沿用外围系统数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备，一般只会进行数据筛选和异常处理。
数据转换层（DSA）：数据加工区域，主要涉及数据的转换数据，清洗数据，过滤数据等操作。
数据仓库层（EDW）：DW 层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的数据。
数据应用层（DA 或 APP）：前端应用直接读取的数据仓库；根据报表、专题分析需求而计算生成的数据，数据仓库是数据处理的后台，业务用户并不关心后台怎么处理。数据应用是数据呈现的前台，是业务用户进行查询的入口。BI应用程序的体验也是衡量数据仓库是否成功的主要因素。好的数据仓库搭建平台可以通过数据仓库将数据发送到前端进行分析数据。
数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是 ETL的过程，ETL 是数据仓库的流水线，也可以认为是数据仓库的血液，它维系着数据仓库中数据的新陈代谢，而数据仓库日常的管理和维护工作的大部分精力就是保持 ETL 的正常和稳定。
三、为什么要对数据仓库架构进行分层？
数据仓库的分层是在利用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据；不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大。通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，将数据仓库分层后更加方便处理每一层，这样每一层的处理逻辑都相对简单和容易理解，我们也比较容易保证每一个步骤的正确性，当数据发生错误的时候，往往我们只需要局部调整某个步骤即可。当然分层也要适当，如果项目较小完全可以直接使用两层架构来完成工作就没有必要搭建三层架构。
四、架构的特点：
1、易用性，数据仓库的目的是决策支持系统(Decision Support System ，简称DSS)，既然面向的的是分析用户，那么数据越容易理解，越能受用户欢迎，而维度建模包含具有描述特性的维度表可以让用户很容易理解数据，而不像范式建模，由于太过规范化而导致用户对数据的理解有一定的难度，需要对业务的很深很细的了解。
2、性能高，通过数据的处理，排序和整合，构建出来的维度表，不仅能够让用户很方便的理解数据，使用数据，而且在计算所需要的数据的时候，不需要关联太多的表，从而使得计算的性能很高。
3、扩展性，具有非常好的可扩展性，以便容纳不可预知的新数据源和新的设计决策。可以很方便在不改变模型粒度情况下，增加新的分析维度和事实，不需要重载数据，也不需要为了适应新的改变而重新编码。
五、总结
通过使用维度建模，用户可以得到很好的效果，只有用户满意了，数据仓库才能实现更大的价值。可以说维度建模的核心是星型模型，星型模型所拥有的特点正是用户方便使用的根源。维度模型也有缺点，比如数据一致性很难保证，数据冗余，维度信息处理等，但这些相对于它的优点来讲都是可接受的，而且也可以通过其他方式避免和简化的。如果以维表为总线，事实表以维表为基础的总线矩阵，建设出来的架构正是总线式架构。
数据仓库系列之总线架构相关推荐
- 数据仓库系列4-维度表
文章目录 一. 维度表技术基础 1.1 维度表结构 1.2 维度代理键 1.3 自然键.持久键和超自然键 1.4 下钻 1.5 退化维度 1.6 非规范化扁平维度 1.7 多层次维度 1.8 文档属性 ...
- 大数据环境下互联网行业数据仓库/数据平台的架构之漫谈
导读: 整体架构 数据采集 数据存储与分析 数据共享 数据应用 实时计算 任务调度与监控 元数据管理 总结 一直想整理一下这块内容,既然是漫谈,就想起什么说什么吧.我一直是在互联网行业,就以互联网行业 ...
- 【无标题】 6UVPX 总线架构的高性能实时信号处理
VPX630 是一款基于 6U VPX 总线架构的高速信号处理平台,该平台采用一片 Xilinx 的 Kintex UltraScale 系列 FPGA(XCKU115) 作为主处理器,完成复杂的数 ...
- 数据仓库系列（二）哲学建模的艺术：如何完成数仓的维度建模设计？？--做好宏观角度考虑维度一致性
写在前面: 我是「nicedays」,一枚喜爱做特效,听音乐,分享技术的大数据开发猿.这名字是来自world order乐队的一首HAVE A NICE DAY.如今,走到现在很多坎坷和不顺,如今终于 ...
- 软件开发随笔系列二——关于架构和模型
软件开发随笔系列二--关于架构和模型 文章目录 软件开发随笔系列二--关于架构和模型 软件模型 功能模型 概念层 边界 参与方 分组分类 逻辑层 功能组织图 层次.模块化 接口 流程模型 概念层 业务 ...
- [VPX611]基于 6U VPX 总线架构的SATA3.0 高性能数据存储板
板卡概述 VPX611 是一款基于6UVPX 总线架构的高性能数据存储板,该板卡采用2 片XilinxKintex-7 系列FPGA 作为主控单元,FPGA 内嵌RAID 控制器,最大支持8 个mSA ...
- 【VPX302】基于3U VPX总线架构的高性能数据预处理平台/XCKU115
板卡概述 VPX302是一款基于3U VPX总线架构的高性能数据预处理FMC载板,板卡具有1个FMC+(HPC)接口,1个X8 GTH背板互联接口,可以实现1路PCIe x8:具有4路 ...
- （四）STM32F407总线架构、时钟系统配置相关的函数，IO 引脚复用器和映射，NVIC中断管理，寄存器地址映射
基础知识 一.GPIO输入输出各种模式 二.STM32F407总线架构 三.STM32F407时钟系统 (1) STM32F4 时钟树概述 (2)STM32F4 时钟初始化配置 (3)STM32F4 ...
- 数据仓库系列篇之管理规范
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录 前言 Hive存储规划 数据模型设计 命名规范 表命名 字段命名 ...
- 数据仓库系列之维度建模
上一篇文章我已经简单介绍了数据分析中为啥要建立数据仓库,从本周开始我们开始一起学习数据仓库.学习数据仓库,你一定会了解到两个人:数据仓库之父比尔·恩门(Bill Inmon)和数据仓库权威专家Ralp ...
最新文章
- windows下mysql开启慢查询
- 0501 0503 模块区别_apollo介绍之planning模块(四)
- 【页面传值6种方式】- 【JSP 页面传值方法总结：4种】 - 【跨页面传值的几种简单方式3种】...
- Android 控件布局常用属性
- 利用.bat(批处理)来删除KEIL编译生成的无用文件
- GitHub 上值得前端学习的数据结构与算法项目
- MATLAB随机模拟
- 【Java多线程】线程优先级：优先级高，执行机会多
- Chess Queen【数学】
- 表级锁的mysql读写_Mysql的表级锁
- [Editor][003][Emacs] 从零到高级的进阶 - 实践开发 - emacs tutorial的使用和基本导航键
- tp5 的查询构造器
- 电商android studio,谷歌 Android Studio 4.0 Beta 5 发布
- 简单理解php的socket编程
- android UI进阶之android中隐藏的layout 抽屉的运用
- 用Python写了一个微信聊天机器人
- Android图像压缩库Tiny更新优化 解决X509TrustManager问题，重新编译libjpeg-turbo支持cpu全架构
- 税务信息化与计算机技术应用开发,税务信息化与计算机技术应用开发岗位辞职报告范文...
- 计算机教学说课稿,计算机教学说课稿
- Failed to load project configuration: cannot parse file xxx Message: 前言中不允许有内容。