DXC简介——HANA数据抽取和同步

转载自 http://blog.csdn.net/bruce_yin/article/details/51833119

DXC是SAP HANA DirectExtractor Connection的缩写，它是SAP HANA从SAP Business Suite中获取数据的一种简单方法。SAPHANA Direct Extractor Connection基于SAP Business Suite，它利用SAP BusinessContent DataSource从SAP Business Suite抽取数据到SAP HANA。

SAP Business Suite基于SAP NetWeaver平台，它已经包含了SAP Business Warehouse（BW）。通常这个嵌入在SAP Business Suite 内的BW系统并不会被使用，因为大多数客户会将BW单独安装在另外一台服务器上。DXC就是利用这个未被使用的BW进行数据抽取和监控将数据发送到SAP HANA，但不使用BW的报表和数据仓库功能。DXC利用HTTP连接将数据从SAP Business Suite传输到HANA。数据抽取和加载的过程与通常的BW一致，利用BW常用的InfoPackage和ProcessChain等工具加载和监控数据。特别指出DXC并不是BW on HANA，DXC并不是将数据加载到SAP Business Suite内未使用的BW，而是把数据重定向到SAP HANA。

SAP Business Suite内的业务数据散落在系统内的各个表，表内的数据一般都是表达单一内容，比如保存财务数据的表只会有财务相关的内容。如果希望从销售口径去查看财务数据则需要将财务相关表与销售相关表进行关联。直接利用SLT或者DataService把表数据传输到SAP HANA后，我们还要面临大量的数据建模工作，利用DXC可以极大的改观上述问题。SAP提供的Business Content 数据源已经包含了复杂的业务逻辑并且对于已经实施了SAP Business Warehouse 的客户通常已经在ERP系统内对数据源按照自己的业务需求进行增强，这些现成的数据逻辑可以直接被DXC所利用。通过DXC数据抽取到SAP HANA后，会大大的减少数据建模的复杂度，同时也会大大缩短SAP HANA的项目周期。

DXC提供了非常简单直接的接口复用SAP ERP内的提取器，利用HTTP连接直接将数据从SAP ERP抽取到HANA。DXC的安装很简单只需要安装指定的SAP note(通过事务代码SNOTE)和简单的配置既可以使用，对于服务器版本的要求也比较宽松，基于NetWeaver 7.0或以上版本的SAP Business Suite都可用。

DXC使用SAP HANA内部的ICM（InternetConnectivity Manager）通过HTTP连接接收XML包并通过HANA XS Engine将接收到的XML数据包转换格式，然后写入到In-MemoryDataStore Object (IMDSO)的activation queue。

在SAP ERP和SAP HANA系统内分别完成DXC的配置和安装后，进入SAP ERP内嵌入的BW运行RSA1进行“Replicate DataSources”并激活数据源，这时会在HANA系统内创建相应的In-Memory DataStore Object(IMDSO)，这个IMDSO的结构会与数据源相一致。

In-MemoryDataStore Object(IMDSO)创建后可以打开SAP HANA Studio，找到与DXC对应的Schema，打开Tables文件夹会看到如下命名方式的表：

q/BIC/A<DATASOURCENAME>00：这个表是active表它存储了加载到IMDSO的数据。SAP HANA数据建模就是基于这张表，它可以被用来搭建attribute view、analytic view、calculation view。

q /BIC/A<DATASOURCENAME>40：这张是activation queue表。当DXC抽取作业将增量数据抽取到HANA时，首先进入activation queue表，然后激活activation queue表。根据不同的增量类型以及增量数据的加载顺序SAP HANA会在active表内生成相应的数据。

q /BIC/A<DATASOURCENAME>70,/BIC/A<DATASOURCENAME>80, /BIC/A<DATASOURCENAME>AO等：这些是控制激活过程的表。

这里需要指出的是在DXC方案中，当运行嵌入的BW的 infopackage时，数据并不是加载到PSA而是重定向到HANA，它会加载到HANA内的in-memory DSO的 activationqueue，之后激活数据到active表。

虽然DXC可以利用SAP Business Content DataSource并且处理多种增量方式，但是一些数据源还是有限制。SAP HANA并没有提供一种机制来处理类似于BW的“non-cumulativekey figures”，所以对于库存相关的数据源HANA并不能很好的支持，比如2LIS_03_BF(Material Movements)。

目前DXC不支持使用下列数据源（详情参见SAP Note 1710236）。

0CFM_INIT_POSITIONS

0CML_INIT_BUDAT

0CML_INIT_DDISPO

0CML_INIT_DFAELL

0RE_1

0RE_3

0SCM_LIM_1

2LIS_02_SRV

2LIS_03_BX

2LIS_03_S197

2LIS_03_S198

2LIS_40_S278

2LIS_03_BF

0BV_BEV1_EM_CUSTSTO_BW_GET_TD

0RE_2

0RE_3

0RF_REASLOC_ATTR

0SCM_LIM_1

0SCM_LIM_2

在使用DXC时还需要考虑的一点就是只支持全量抽取的数据源。由DXC生成的IMDSO它是不包含数据修改日志的，所以IMDSO自己不能产生增量数据。尽管DXC可以支持全量抽取的数据源但是这也可能意味着大数据量的长时间传输，而且如果有数据被删除，删除的数据也不会传输到HANA。

另外的限制就是数据源必须有定义唯一的语义key才能被DXC所使用，因为SAP HANA的IMDSO需要主键。如果激活DXC的数据源没有key，那么系统会报错。这时需要参考SAPNote 1677278和1701750给数据源加上key。

DXC简介——HANA数据抽取和同步相关推荐

ods mysql_ODS数据抽取平台
一.产品简介 ODS数据抽取平台是数据仓库对数据进行精细加工的中间环节,将加工后的数据存储到ODS数据模型中,以便总账,报表,数据仓库使用. 将远程网络生产数据库中的数据备份到一台备份机中(防止对生产 ...
etl数据抽取工具_数据同步工具ETL、ELT傻傻分不清楚？3分钟看懂两者区别
什么是数据同步工具(ETL.ELT) 数据同步工具ETL或者ELT的作用是将业务系统的数据经过抽取.清洗转换之后加载到数据仓库的过程,目的是将企业中的分散.零乱.标准不统一的数据整合到一起,为企业的决 ...
NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等
NLP专栏简介:数据增强.智能标注.意图识别算法|多分类算法.文本信息抽取.多模态信息抽取.可解释性分析.性能调优.模型压缩算法等专栏链接:NLP领域知识+项目+码源+方案设计订阅本专栏你能获得什 ...
gbase8a的orato8a和db2to8a 数据抽取工具简介
orato8a简介 orato8a是一个可以快速.高效地从oracle数据库系统中抽取数据,并将数据保存到指定文件或直接迁移到GBase 8a中的专用工具.并且orato8a还提供查询语句导出和全表导 ...
知识图谱专栏简介：数据增强，智能标注，文本信息抽取（实体关系事件抽取）、知识融合算法方案、知识推理、模型优化、模型压缩技术等
知识图谱专栏简介:数据增强,智能标注,文本信息抽取(实体关系事件抽取).知识融合算法方案.知识推理.模型优化.模型压缩技术等专栏链接:NLP知识图谱相关技术业务落地方案和码源 NLP知识图谱相关技术 ...
bboss hadoop hdfs大数据抽取工具
bboss大数据抽取工具功能特点如下: 实现db到hadoop hdfs数据导入功能,提供高效的分布式并行处理能力,可以采用数据库分区.按字段分区.分页方式并行批处理抽取db数据到hdfs文件系统中: ...
DL之DNN优化技术：神经网络算法简介之数据训练优化【mini-batch技术+etc】
DL之DNN优化技术:神经网络算法简介之数据训练优化[mini-batch技术+etc] 目录 1.mini-batch技术输出结果实现代码 1.mini-batch技术输出结果实现代码 # ...
如何将业务系统的数据抽取汇聚到数据中台？
简介:数据集成是简单高效的数据同步平台,致力于提供具有强大的数据预处理能力.丰富的异构数据源之间数据高速稳定的同步能力,为数据中台的建设打好坚实的数据基座. -更多数智化转型.数据中台内容请加入阿里云 ...
Dataphin功能：集成——如何将业务系统的数据抽取汇聚到数据中台
简介: 数据集成是简单高效的数据同步平台,致力于提供具有强大的数据预处理能力.丰富的异构数据源之间数据高速稳定的同步能力,为数据中台的建设打好坚实的数据基座. 数据中台是当下大数据领域最前沿的数据建设 ...

DXC简介——HANA数据抽取和同步

DXC简介——HANA数据抽取和同步相关推荐

最新文章

热门文章