BI开发流程和ETL介绍

BI开发过程

1. 构建维度-事实模型
2. 根据维度-事实模型搭建数据仓库（维度、事实）
3. 数据抽取（ETL）
4. 构建分析模型主题
5. 搭建报表分析、仪表盘

一些概念

ODS stands for operational data store /SDS stands for Source Dependent Data Store. In this phase, a separate schema on the data warehouse database is maintained as a replication of the source transactional systems’ tables, deletes, as well as additional optimizations for incremental ETL. Each SDS requires its own separate schema because there can be multiple SDS each having the same object names. Typically, you would see a corresponding load plan step, "SDS Load Phase", in your generated load plan when you enable extraction from cloud sources, for example when extracting data from Fusion Cloud, Taleo Cloud, and so on. SDS Load Phase tasks extract data from cloud sources and stage it in SDS tables.

SDE stands for Source Dependent Extract. In this phase, SDE tasks extract data from the source system and SDS and stage it in staging tables. SDE tasks are source specific.

SIL stands for Source Independent Load. Load tasks transform and port the data from staging tables to base fact or dimension tables. SIL tasks are source independent.

PLP stands Post Load Process. PLP tasks are only executed after the dimension and fact tables are populated. A typical usage of a PLP task is to transform data from a base fact table and load it into an aggregate table. PLP tasks are source independent.

BI商业智能系统根据企业需要解决的问题，帮助企业建立相应的分析主题和分析指标，从业务系统的基础数据库中抽取需要的数据，按预先建立的业务模型进行分析决策，分析结果显示直观、形象。决策者只需要简单地点取操作，便可以从商业智能强大的销售分析工具中获得所需的决策信息。

ETL中的E->(ODS->SDE->SIL)(强大的ETL工具)<=>ETL中的T-> ETL中的L->DW->BIEE(RPD物理)-> BIEE(RPD逻辑)-> BIEE(RPD展示)->报表

也可以根据报表来推出ODI接口中的表，对于个别表可以反推将表手工用数据采集平台导数。

实现ETL，首先要实现ETL转换的过程。它可以集中地体现为以下几个方面：

1、空值处理可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库。

2、规范化数据格式可实现字段格式约束定义，对于数据源中时间、数值、字符等数据，可自定义加载格式。

3、拆分数据依据业务需求对字段可进行分解。例，主叫号861082585313-8148，可进行区域码和电话号码分解。

4、验证数据正确性可利用Lookup及拆分功能进行数据验证。例如，主叫号861082585313-8148，进行区域码和电话号码分解后，可利用Lookup返回主叫网关或交换机记载的主叫地区，进行数据验证。

5、数据替换对于因业务因素，可实现无效数据、缺失数据的替换。

6、Lookup查获丢失数据 Lookup实现子查询，并返回用其他手段获取的缺失字段，保证字段完整性。

7、建立ETL过程的主外键约束对无依赖性的非法数据，可替换或导出到错误数据文件中，保证主键唯一记录的加载。

Extract 通过接口提取源数据，例如ODBC、专用数据库接口和平面文件提取器，并参照元数据来决定数据的提取及其提取方式。

Transform 开发者将提取的数据，按照业务需要转换为目标数据结构，并实现汇总。

Load 加载经转换和汇总的数据到目标数据仓库中，可实现SQL或批量加载。

整个流程问题查找

--缺失字段查找

--从报表---RPD---ODI（从SIL-SDE-ODS主要看源于目标的关系-F-FS-V）---视图对应其逻辑（视图找到其最基本的表来对数，查看关系）

--缺失记录对数

对数最主要是找到逻辑即视图，看视图里面是否对的上，对不上则往视图的的来源表找，最终确定是否有数，如果源表有数而视图没数则需要查看ODS层和其过滤器了，涉及主要有过滤器和逻辑的正确与否也包括事实表和维度表。

普通Oracle BI系统实施的总体系统结构如下：

此次BI系统实施数据主要来源有：

1．ORACLE EBS（ERP系统，取得实际数据）。

2．Hyperion Planning（海波龙预算系统，取得预算数据）。

3．Hyperion Financial Management（海波龙财务报表合并系统，取得抵消数）。

4．数据采集平台（取得Report Item, Mapping, 通用权限）。

Oracle Essbase BI 系统实施的总体系统结构如下：

工作中开发流程

1.熟悉需求分析

2.将表跑到ODS下面即为E

3.根据需求编写逻辑视图（不一定都是写视图也可以直接在ODI关联操作）即为T

4.根据需求建好D表和F表即为L

5.在RPD中建模

6.BIEE拖报表

另一种开发流程

主要不同于上面的在3/4步，这种流程不涉及SDE层，相对来说简单些，逻辑封装在DW接口中，只涉及ODS和SIL。

BI开发流程和ETL介绍相关推荐

Linux下服务器端开发流程及相关工具介绍(C++)
原文:Linux下服务器端开发流程及相关工具介绍(C++) 去年刚毕业来公司后,做为新人,发现很多东西都没有文档,各种工具和地址都是口口相传的,而且很多时候都是不知道有哪些工具可以使用,所以当时就想把 ...
arduino向串口发送数据时掉包_[技术]清楚简单，一种串口触摸屏的开发流程和方法介绍...
1.什么是串口触摸屏触摸屏是工业控制上很常见的人机交互部件,很多设备.系统都在使用它,它至少有两个功能:显示,触摸控制. 串口触摸屏是采用串行数据通信协议进行数据交换的触摸屏,具有简单.可靠.易于操 ...
[技术博客] 小程序前端开发流程——用实例介绍
目录主题前端功能 UI实现后端接口对接作者:李大主题本文的目标在于简单介绍一下我们在开发小程序时的前端开发流程. 前端功能前端的功能在于给数据提供一个合适的容器,并提供用户-界面-后端的 ...
ETL开发流程小记(1)
[原创]ETL开发流程随笔 ETL开发 ETL工作目标 ETL工作目的主要有: ETL工作流程准备工作 ETL开发上线包 ETL开发模版统一和规范 ETL设计 ETL开发 ETL测试自动调度系统配 ...
教育网站源码开发流程仅需这几步！
截止到目前,在线教育这种新形式始终没有消陨,反而有越挫越勇的气势,一些线下教育培训机构也开始着手往线上转型.若想成功转型,还需要了解教育网站源码开发的这几大流程. 1.教育网站源码开发前期开发前期, ...
typecho和wordpress模板了解、开发流程介绍、前台后台前端后端区分
网站模板搭建网站: 使用网站模板搭建网站很简单,只需要将相关文件放到你自己的服务器上面,之后在进行相关的配置即可.这里给大家介绍两款网站模板: typecho: 是一个轻量高效,简单操作就能搭建网站的 ...
（2）FPGA开发流程介绍（第1天）
(2)FPGA开发流程介绍(第1天) 1 文章目录 1)文章目录 2)FPGA初级课程介绍 3)FPGA初级课程架构 4)FPGA开发流程介绍(第1天) 5)技术交流 6)参考资料 2 FPGA初级课 ...
Spring Security技术栈学习笔记（十三）Spring Social集成第三方登录验证开发流程介绍
开发第三方登录,我们必须首先要了解OAuth协议(本文所讲述的OAuth协议指的是OAuth2协议),本文首先简单介绍OAuth协议,然后基于Spring Social来阐述开发第三方登录需要做哪些准 ...
嵌入式linux/鸿蒙开发板(IMX6ULL）开发（一）嵌入式Linux开发基本概念以及开发流程介绍
文章目录 1.linux开发初了解 1.1 嵌入式Linux开发的基本概念 1.1.1关于Git的背景介绍 1.1.2关于repo的背景介绍 1.1 3 一些关于此背景知识的介绍 1.1.4关于Lin ...

BI开发流程和ETL介绍

BI开发流程和ETL介绍

BI开发流程和ETL介绍相关推荐

最新文章

热门文章