SAP BW: 小生长谈Delta - 1 (CDC)
很多年以后,有人看到这篇文章,知道Delta原来就是那么儿戏,会不会是BW白菜价的时候?有可能,信不信由你,我是信的。
数据仓库无法逃避,或者正是鹤立鸡群之处,就在于她的“海量”数据。从外部抽取数据,我们常常亲切地说成“吃数据“,而要求其他系统提供数据的时候则说成”喂数据“,因为这简直就是饕餮吗-自豪呀。
可是外部系统的数据量也是一天一天的在长大,会不会哪一天因为“吃“的太慢,“吃“不了呢?不会。信不信由你,我是信的,因为有Delta。
所谓的Delta其实就是增量的意思,有限增量。
不知道大家有没有听过一个术语“CDC”,全称“Changed Data Captured”,即变动数据捕获。说白了就是,把那些新增的,修改的标识出来。目前从技术层面来讲,CDC有好几种实现的方式,鉴于讨论的范围,我选择其中四种进行简单说明。
触发器:这个做过数据库开发的人都应该相当的熟悉,就是对表变动动作进行事件触发。这里我们要求至少对插入,修改,删除等三个事件进行触发。方法简单,性能也应该不错,不过这个不是原生态,需要技术人员后期加入,所以对业务表必须熟悉。当然,因为是触发器,对原系统多少还是有影响的。
时间戳:简单来说,就是在每一条记录上加上时间点,基于快照比较的方式来获取变动数据。性能自然不用说了,抽取逻辑也相当之简单。不过必须原系统自带时间戳管理(这里原系统不单单是DB,还要ERP系统本身)。
全表对比:典型的全表对比,采用MD5检验的方式。说白了,就是全表扫描。好处就是,不麻烦别人,缺点就是太麻烦了,获取增量数据的性能很差。
日志对比:通过日志来获取增量数据,不用麻烦别人,也不用自己麻烦,但是必须要原系统支持日志管理。
说完上面增量获取的方法后,我们就言归正传。BW就是通过上述的几种方法获取R/3的增量数据(目前增量仅限于R/3系统)。
那么到底如何实现呢?在讲之前,我们先来了解一下SAP ERP系统数据写入过程,举个例子,当用户用VA01开一张销售订单并千方百计输完后,选择保存,接下来其实是非常复杂的数据写入过程,只是我们都不会体察到,闪两下就过了。那么到底这写入过程,有什么讲究呢? -未完待续
SAP BW: 小生长谈Delta - 1 (CDC)相关推荐
- SAP BW: 小生长谈Delta - 2 (Update Mode)
SAP BW: 小生长谈Delta - 2 (Update Mode) Robin Lei Update Mode 即更新模式,ERP作为信息系统,自然免不了数据的存储,这里就涉及到几种.目前有三种更 ...
- SAP BW增量队列深入研究
转自:SAP BW增量队列深入研究http://www.sap.cm/thread-265-1-1.html 目前BW Delta Queue支持的三种常见Update Method有: 1. &qu ...
- SAP BW实施实时报表的方法(流式处理链)
最近,我的一位客户询问我实施实时报告的可能方法.在准备过程中,我的研究还涵盖了"流式处理链",结果令人惊讶 版本适用:SAP BW 7.5 和 SAP BW/4HANA(任何版本) ...
- BW顾问进阶:SAP BW后勤数据源抽取机制
SAP BW后勤数据增量机制 目录 1. 概述.... 4 1.1后勤数据抽取的两种机制 1.1.1初始化抽取 1.1.2增量抽取 1.2 SAP逻辑工作单元 1.3更新模式及方法介绍 ...
- SAP BW/4HANA学习笔记2
2.Data Modeling BW/4HANA Data Modeling简介 Data Quality:数据质量问题: silos(桶仓):大量重复冗余的主数据,独立计算统计: 数据silos缺点 ...
- 所有归类于 ‘SAP BW’ 分类的日志
BW:SAP STMS配置 1.SM59,删除所有包含STMS的连接 2.STMS,Overview-System,删除所有配置 3.登陆至Client 000 UserName SAP* PassW ...
- SAP BW 学习笔记(一)
SAP BW 全称 Business Information Warehouse,在版本3.5之后又称SAP Business Intelligence. 处于SAP Netweave ...
- SAP BW/4 HANA亮点解析
SAP BW/4 HANA亮点解析 http://mp.weixin.qq.com/s/SIPSWDo95pXKGjG66z6iHw 2016 年 8 月 31 日SAP正式向全球推出了新一代的数据仓 ...
- SAP BW查看数据源提取方法
终于知道如何查看数据源来源了,之前困扰了很久,一直想知道SAP BW中DATASOURCE是如何获取数据. 事实上DATASOURCE都是根据数据结构(ExtractStruct.)所定义的字段获取字 ...
最新文章
- Linux日志系统-01:什么是rsyslog?
- Docker Compose基本使用-使用Compose启动Tomcat为例
- 连续 3 天,企业容器应用实战营上海站来啦!
- nginx启动期做了哪些事
- html怎样添加css样式,html添加css样式的方法
- linux优化pdf,linux系统安全和优化.pdf
- 车险对方全责理赔要自己垫付吗?
- 尝试:以下矩阵size length ndims repmat isempty ismatix E=A(:,[1:3:5])什么意思?
- Python实战技术 - Python虚拟隔离环境 和 Docker技术
- cvc-complex-type.2.3: Element 'beans' cannot have character [children] 博客分类: Spring
- 前端安全机制集合(不定期更新) -- 戴向天
- CAD表格制作之CAD制图软件中如何合并表格?
- php元换成万元,元换算万元(元换算成万元换算器)
- seo如何做外链(做seo外链建设有哪些原则)
- 百度「联邦学习」战略全布局
- 计算机专业英语教程ppt,计算机专业英语教程课件.ppt
- 小米NFC手机复制加密IC门禁卡
- 论文“Structure-from-Motion Revisited” 对ISFM改进的理解
- 蓝牙耳机那种降噪效果好?双11高人气降噪高音质蓝牙耳机推荐
- 计算机操作系统的发展过程