国产etl 与 ODI

安可项目（即国产化），我国信息、网安领域,能源行业及企业逐渐发力安可工程。安可工程是指安全可靠的工程,是用国产关键系统、关键软硬件产品及关键应用替代国外信息技术产品。国产化替代势在必行。本文就软件基础系统中间件产品ETL工具简要对比参考。

继系统集成、应用集成、业务集成之后，最头痛的数据集成（Data Integration）就Oracle的数据集成类工具。ODI（Oracle Data Integrator）与国产ETL工具灵蜂ETL产品（Beeload&BeeDI）功能相同与不同点概述如下：

一、ODI 和灵蜂ETL工具的相同点

两个工具都可以做数据同步工具，实现异构数据库的同步
两个工具都可以实现变化数据捕获
两个工具都Java技术实现
两个工具支持Web Service

二、ODI 和灵蜂ETL工具的区别

ODI的产品架构，太多的功能、性能依赖于数据库。ODI他的强项应该是和具有强大处理能力来源于数据库结合在一起。（跟随Oracle、SQLserver 区别）。

ODI 是Oracle在2006年收购Sunopsis。

国产ETL灵蜂ETL产品（Beeload&BeeDI）国产自研究核心独立软件产品原厂始于2004年

2. ODI使用ELT方式在数据整合过程中，它自己本身不执行数据整合的处理，所有的执行都是在现有的信息系统或者数据库中完成，不能出库。如Exadata，Teradata等，

从技术实现讲，ODI属于应用层技术，可以和SOA 实现无缝集成

国产ETL工具灵蜂产品（Beeload&BeeDI）是纯数据库层的应用，相对封闭，但安全、稳定

ODI 一般用于局域网内的数据整个传输，如果网络状况不好的广域网则不太适合数据传输，

国产ETL工具灵蜂产品（Beeload&BeeDI）有非常好的数据传输机制，可以保证数据的传输精准一致性、性能。

ODI的UI设计最大的缺陷在于页面布局过分拥挤

国产ETL工具灵蜂产品（Beeload&BeeDI）界面友好，简洁干净，适合国人开发人员和IT维护人员思维习惯

　三、ODI的主要功能特点有：

使用CDC作为变更数据捕获的捕获方式。
代理支持并行处理和负载均衡。
完善的权限控制、版本管理功能。
支持数据质量检查，清洗和回收脏数据。
支持与JMS消息中间件集成。

四、灵蜂ETL工具变化数据捕获的优势

国产ETL工具灵蜂产品（Beeload&BeeDI）针对SQL server,DB2 都可以提供基于日志的CDC , ODI在开放系统上只支持Oracle基于日志的CDC,其他都用trigger。
国产ETL工具灵蜂产品（Beeload&BeeDI）直接从数据库日志中通过自己专有程序抽取数据，相对于ODI 对源系统的影响和权限要求很低
国产ETL工具灵蜂产品（Beeload&BeeDI）支持在备份系统上抓取变化数据，对以下数据类型如：LONG , XML , BLOB 提供支持ODI 的CDC 是不支持这些数据类型的
国产ETL工具灵蜂产品（Beeload&BeeDI）有很好的机制来保证传输的交易一致性和断点续传
数据仓库（中心）数据实时供给时ODI需要与OracleGoldGate (数据同步工具)结合使用

下面几点是数据集成中经常遇到的场景，也成为了ODI最不适宜的场景。

文件处理

ODI本身并没有针对非结构化和半结构化数据转换为结构化或XML格式的功能, 只能通过编写Java程序，将Excel，PDF，Word转换为txt文档

2. 业务逻辑复杂，流程环节较多

ODI无复杂工作流设计

3. 异构大数据量数据整合

如果数据量非常大，一旦遇到输出为文件，异构数据库间的数据整合，那么，ODI的性能就会受到影响

4. 断点续传

ODI完全不具备

5. 不同数据库间元数据转换，元数据交换和血缘分析

如Oracle表结构向Teradata的转换，ODI无法实现批量将Oracle建表DDL语法转换为Teradata建表DDL语法。只能编写程序完成该项工作）ODI无法直接实现列行转换，通过编写存储过程来实现

6. 数据整合过程中需要数据质量分析

ODI未有此功能

7. 需要更多的磁盘I/O

对于E-LT架构工具，只能依赖数据库的能力去完成，CPU和I/O都会成为瓶颈。

综上所述：ETL工具直接使用者的开发人员和IT维护人员需要：

产品化的工具通常会提供丰富的，最优性能的内置功能，尽可能少的减少额外程序的编写。
界面简洁，布局合理，在视觉效果上便于理解和使用，在使用上便于操作
性能高效:对产品工具必备刚性需求，工具价值本该在此。
即刻服务: 对工具操作快速上手，是决定项目高效实施直接因素。工欲善其事，必先利其器！

中国自主可控国产化的路径即是历史的必然，也是时代的脉搏。信息产业是巨大市场，每年全球信息计算终端市场规模近2万亿人民币，保卫信息安全刻不容缓，中国发展国产化自主可控堪称波澜壮阔的最伟大历程!

国产etl 与 ODI相关推荐

国产ETL工具 BeeDI 产品“实时同步“之高阶功能组件
BeeDI 提供" 实时"企业数据集成.实时组件通过实时处理和传输业务数据的能力,增强了BeeDI的批处理功能.为满足当下复杂的业务需求,IT部门需要实时集成以加快核心业务流程和信 ...
国产ETL etl-engine 星光不问赶路人时我不待
ETL engine 是你选型之一? 各企业所需要的ETL工具是轻量级的,易学易用的, 总体讲就是学习成本要低,实施部署要简单,项目集成度要便捷,支持二次开发及接囗层面的互通互联. 相信你,还有你都进 ...
国产 ETL工具 ETL产品数据交换系统
如何选型 ETL产品的选型工作一直以来都是困扰架构师的一块心病,国外付费产品用不起,国外免费产品学习成本高.不易实施. 多数软件又为什么逐渐国产化? 长期以来,国内数据技术都由海外厂商主导.然而随着国 ...
国产ETL工具 etl-engine
什么是etl-engine 产品由etl-engine引擎和etl-designer云端设计器及crontab调度组成, etl-engine引擎负责解析etl配置文件并执行etl任务, etl-de ...
国产ETL工具/ETL 产品 (BeeDI ) 集团财务双向同步审核平台
项目需求核心实时同步.双向同步.部分同步.日志解析同步.断点续传项目需求概要 35分公司财务数据实时同步汇总中心平台
【ETL】ETL介绍与ETL工具比较
本文转载自:http://blog.csdn.net/u013412535/article/details/43462537 ETL,是英文 Extract-Transform-Load 的缩写,用来 ...
ETL工具大全，你了解多少
这些年,几乎都与ETL打交道,接触过多种ETL工具.现将这些工具做个整理,与大家分享. 一 ETL工具 [国外] 1. datastage 点评:最专业的ETL工具,价格不菲,使用难度一般下载地址: ...
常见ETL工具一览，你知多少？
这些年,几乎都与ETL打交道,接触过多种ETL工具.现将这些工具做个整理,与大家分享. 一 ETL工具 [国外] 1. datastage 点评:最专业的ETL工具,价格不菲,使用难度一般下载地址: ...
mysql etl工具有哪些_常见ETL工具一览，你知多少？
这些年,几乎都与ETL打交道,接触过多种ETL工具.现将这些工具做个整理,与大家分享. 一 ETL工具 [国外] 1. datastage 点评:最专业的ETL工具,价格不菲,使用难度一般下载地址: ...
linux查看etl进程,常见ETL工具
[国外] datastage 点评:最专业的ETL工具,价格不菲,使用难度一般 --------------------------------------- informatica 点评:专业程度如 ...

国产etl 与 ODI

国产etl 与 ODI相关推荐

最新文章

热门文章