模型建设步骤总结

提示：仅个人总结观点
数据模型建设主要分为以下5个步骤

一、目标确认

1：确认模型支撑的事务类型OLTP、OLAP、DDS

OLTP：联机事务处理（on-line transaction processing）主要是基本的、日常的事务处理，例如银行交易。
OLAP：联机分析处理（on-Line analytical
processing）支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
DDS：决策支持系统（DDS，Decision
support system) 主要是支持专一事务的模型，例如评级系统
OLTP、OLAP、DDS区别
OLTP 系统强调数据库内存效率，强调内存各种指标的命令率，强调绑定变量，强调并发操作；特点：小事务、小查询、高并发、高频次、高重复、DML多。
OLAP 系统则强调数据分析，强调SQL执行市场，强调磁盘I/O，强调分区等。特点：高吞吐量，需大量sql优化，DML少。
DDS：系统典型的操作是全表扫描，长查询，长事务，但是一般事务的个数很少，往往是一个事务独占系统。

2：模型作用清洗系统、中台系统、分析系统、业务系统、管理系统、检测系统

二、源数据准备和业务理解

1：数据分析

数据特性
数据质量摸底
需求满足数据整理
数据有序性制定
模型假设论推测

2：业务拆分

关联关系ER分析
指标含义理解
业务主线梳理
业务模块拆分
业务流程拆分

三、模型分层

1：流程抽取，清洗、格式转换、特殊处理、轻度聚合、统计聚合、展现聚合等流程分层（ods、dw…）
2：维度：维度退化或者高复用性维度设计
3：配置映射归层：辅助数据处理的配置表和映射表，尽量实现自动化配置，实现高复用，统一，规范标准

四、模型分层结果抽象呈现以及总结

解决的问题？
解决效果？
优势？
规避风险？
存在风险？
如何解决？
具体步骤
技术方案？

五、实施和管理

1：实施步骤
环境资源，工具资源，项目评估报告，项目详细设计文档，环境搭建技术文档，业务手册
2：项目管理
需求文档，数据库管理模式以及工具，模型定义标准手册，数仓某层（源层、接口层、汇总层、清洗层）表整理文档
周报月报工作进度文档，数据库整理文档，环境连接文档，任务或问题清单文档，迭代备份管理

总结： 通过大量数据解决了一个或多个重要的现实问题，需要将方案落实下去，一般情况下需要通过线上技术环境部署落实，从而为后面不断优化模型、更好地解决问题打下基础。交由工程人员部署技术环境，需要数据建模团队撰写需求文档，并确保工程人员理解需求文档的内容，才能达到较好的模型部署效果。

数据模型建设步骤总结相关推荐

银行用户画像建设步骤
银行用户画像建设步骤: 依据银行的业务需求及数据状况,银行用户画像建设工作大致划分为以下步骤: 1.制定用户标签体系:根据业务需求制定用户标签体系框架,逐步丰富标签内容.初期可采用"框架完整 ...
阿里数据仓库-数据模型建设方法总结（全）
来源:大数据与机器学习文摘五分钟学大数据本文约20000字,建议阅读25分钟本文介绍了大数据领域建模的方法. 一.大数据领域建模综述 1.1 为什么需要数据建模有结构地分类组织和存储是我们面 ...
阿里数据模型建设方法总结
一.大数据领域建模综述 1.1 为什么需要数据建模有结构地分类组织和存储是我们面临的一个挑战. 数据模型强调从业务.数据存取和使用角度合理存储数据. 数据模型方法,以便在性能.成本.效率之间取得最佳 ...
阿里数据模型建设方法总结（全）
一.大数据领域建模综述 1.1 为什么需要数据建模有结构地分类组织和存储是我们面临的一个挑战. 数据模型强调从业务.数据存取和使用角度合理存储数据. 数据模型方法,以便在性能.成本.效率之间取得最佳 ...
数据治理：数据标准的6大建设步骤及实施分享
"车同轨.书同文",数字化时代,数据标准化是企业进行数字化转型的根基.数据标准与企业数据管理的每个域都相关,是数据治理工作的最基础内容. 元数据管理中,需要从业务属性.技术属性.管 ...
数据模型建设-维度建模详解
5.2 维度建模维度建模是一种将大量数据结构化的逻辑设计手段,包含维度和指标,它不像ER模型目的是消除冗余数据,维度建模是面向分析,最终目的是提高查询性能,所以会增加数据冗余,并且违反三范式. 维度 ...
低代码开发平台建设步骤及思考
前言由于毕业至今一直从事于企业应用相关的工作,在整个过程中有很多思考.包括低代码最早运用于bpm行业.随着2020年疫情,推动了整个企业应用相关的进程,尤其突出的是重新提出的低代码甚至零代码开发平 ...
地产网站建设步骤-企业房地产网站建设策划技巧及方案
如何建立一个大气美观的地产网站,刚开始我和你一样不知道如何入手.在规划100个网站之后,我逐渐找到了地产网站建设开发的核心秘诀.建设网站最难的部分不是写代码,而是在建设前的主题.内容.图片.风格的规划 ...
制造企业数字化工厂建设步骤的建议
随着工业4.0.中国制造2025的深度推进,越来越多的制造企业开始迈入智能制造的领域,那数字工厂要从何入手呢? 数字工厂规划的核心,也正是信息域和物理域这两个维度,那就从这两个维度来进行分析,看如何进 ...

数据模型建设步骤总结