数据仓库之建模过程之业务调研
数据仓库之建模过程之业务调研
数据仓库的数据来源自各个源业务系统，不同业务系统使用不同的数据库，不同的物理表结构。为了创建统一的数据仓库系统，需要了解各个业务系统的具体情况。
业务调研流程
- 明确需求和确认调研系统范围。
- 针对各个业务系统建立畅通的源系统沟通机制，保证仓库建模人员对系统有足够深入的了解。
- 可以提前列举调研提纲，需要确认的问题提前发给对应系统的联络人员，减少沟通次数，提高沟通效率。
- 针对不同业务回复的问题内容，记录问题汇总表以及相关会议纪要，可供其他系统调研人员使用。
- 根据不断确定的系统源数据接入范围，确认每张源表的业务含义，关联关系，以及所属主题域。
- 针对确认的源表做字段级分析，确认数据格式长度，代码值，代码含义，是否转换，增删字段，是否接入。
系统调研模板
| 调研内容 | 期望答复/用途 |
|---|---|
| 建立源系统调研的联络窗口 | 建立通畅的调研联络方式频度和沟通方式 |
| 系统的业务部门、应用人员、权限 | 理解源系统数据的部门应用及人员权限 |
| 系统的中英文全称及简称 | 方便理解记忆并辅助模型设计 |
| 系统的上线升级改造情况 | 确认各个数据源的数据范围，表结构差异 |
| 系统的上下游系统关系 | 确认该系统的数据来源及相关影响性 |
| 系统的需求说明文档 | 了解整个系统架构项目背景等信息以及主要功能 |
| 系统的操作手册 | 方便模型人员理解系统功能模块，业务流程 |
| 完整的系统数据库设计 | 理解数据表结构，代码值，主外健等信息 |
| 数据库的字符编码方式、版本 | 针对不同版本和编码方式执行不同卸数脚本 |
| 对应每张数据表的数据条数 | 确认每张表的卸数加载方式全量，增量 |
| 系统整体数据存量、增量、周期频率 | 计算数据仓库存储容量以及方式 |
| 数据库卸数时间 | 确定数据库可以卸数的时间点 |
| 数据库的数据质量调研 | 提前了解源数据质量问题，来觉得是否入库以及补录改造等 |
表级字段级调研
表级调研
- 获取系统完整的表清单
- 自行猜测确认每张表的含义以及存储内容方式，列出初步清单
- 与业务人员、开发人员确认每张表的具体用途以及存储数据的内容、格式
- 根据沟通内容将表进行分类，包含有临时表、系统表、备份表、客户表、交易表、衍生表等
- 排除系统表、临时表、备份表等无需入库或确认无业务含义表，针对性的对剩余表做分析，理清关联关系
- 根据每张表的业务内容确认主题域，中英文命名，加载方式
字段级调研
- 针对每张表做字段级分析，统一中英文命名
- 确认字段关联代码值以及对应的代码表
- 确认字段存储数据类型，长度，默认值，是否为空，是否主键等信息
- 确认字段转换方法，比如01->1，补零，去空格，截取等。
未完待续.
数据仓库之建模过程之业务调研相关推荐
- 数据仓库之建模理论以及仓库设计思想
1.数据仓库 1.1.数据仓库概述 数据仓库是一个为数据分析而设计的企业级数据管理系统.数据仓库可集中.整合多个信息源的大量数据,借助数据仓库的分析能力,企业可从数据中获得宝贵的信息进而改进决策.同时 ...
- 数据仓库常见建模方法与建模实例
1.数据仓库建模的目的? 为什么要进行数据仓库建模?大数据的数仓建模是通过建模的方法更好的组织.存储数据,以便在 性能.成本.效率和数据质量之间找到最佳平衡点.一般主要从下面四点考虑 访问性能:能 ...
- 浅谈数据仓库维度建模
浅谈数据仓库维度建模流程 谈到Big Data就离不开数据仓库.数据集市等概念,而谈到数据仓库.数据集市,就又离不开数据仓库设计的方法,维度建模则是其中的典型.与维度建模相对立的则是范式建模,范式建模 ...
- 数据仓库——数据建模
数据仓库--数据建模 数据建模指的是对现实世界各类数据的抽象组织,确定数据库需管辖的范围.数据的组织形式等直至转化成现实的数据库. 将经过系统分析后抽象出来的概念模型转化为物理模型 性能:良好的模型能 ...
- 数据仓库之建模 维度表 事实表 维度建模三种模式 如何维度建模缓慢变化的维度 建模体系
数据仓库之建模 ER建模 维度表和事实表 维度建模三种模式 如何维度建模 什么是缓慢变化的维度 最常见的三种数据仓库建模体系 联机分析处理 OLAP 元数据(Metadata) 数据仓库建模包含ER建 ...
- 数据仓库——维度建模
数据仓库--维度建模 在维度建模中,将度量称为"事实",将环境描述为"维度" 维度表 维度表概念 维度是维度建模的基础和灵魂.在维度建模中,将度量称为" ...
- 转载-如何做好项目的需求与业务调研▲▲▲
原文地址:http://blog.sina.com.cn/s/blog_6a656bb40102vhzf.html 作者:郭致星,百科介绍:http://baike.baidu.com/item/%E ...
- 转载-如何做好项目的需求与业务调研
如何做好项目的需求与业务调研 1. 调研工作如何组织 2. 调研准备阶段容易犯哪些错误 2.1 第一个容易犯的错误:不清楚调研的的目的 2.2 第二个容易犯的错误:计划不够细致 3. 调研准备阶段容易 ...
- 如何做好项目的需求与业务调研
1. 调研工作如何组织? 很多人认为调研工作极难,水平最高的人才能做好一次调研,软件工程中也强调需求获取是最难的事情.有的人要么认为不过如此,甚至是一个普通技术支持都可以做的工作. 现在有很多企业上管 ...
最新文章
- cygwin个性化配置
- HTTP 500 服务器内部错误的解决方法
- 201621123028《Java程序设计》第一周学习总结
- python两数相加取_Leetcode_两数相加_Python
- WildFly上具有AngularJS的Java EE 7和Java WebSocket API（JSR 356）
- 轨道运营管理专业自荐书_轨道运营管理专业主要是学习什么_毕业后薪资待遇怎么样...
- 【java】java 新一代垃圾回收器ZGC的探索与实践
- hadoop2.7.3+spark2.1.0+scala2.12.1环境搭建（4）SPARK 安装
- XML与HTML的区别
- 如何判断两物体加速度相等_力学实验2：探究加速度和力的关系
- 战胜棋王后，人工智能是否可以颠覆安全?
- 设计模式详解（链接）
- smarty3.X新命名规范引起的'Call of unknown method'
- 前端组件化开发实践总结
- 计算机蓝屏无法启动不了系统怎么办,电脑蓝屏重启开不了机怎么回事_电脑蓝屏之后启动不了的处理办法－系统城...
- unix网络编程中的fd是什么
- linux marvell 网卡驱动,linux下安装Marvell Yukon网卡驱动
- 小学奥数 7653 地球人口承载力估计 python
- 一阶拟合算法C（六轴）
- 第2章第27节：英文排版技巧：大间距与大行距的应用 [PowerPoint精美幻灯片实战教程]