睿智（睿金）ETL介绍

图1

系统总体描述

开发语言纯ＪＡＶＡ开发
支持的平台 SUN Solaris 、 HP-UX 、 IBM AIX 、 AS/400 、 OS/390 、 Sco UNIX 、 Linux 、 Windows 等
支持数据源 DB2 、 Informix 、 Oracle 、 Sybase 、 SQL Server 、 Teredata 、 OleDB 、 SAS 、 Text 、 Excel 、 SAP、 Peoplesoft 、 IMS 、 VSAM 、 QSAM on 390 、 FTP 、 XML 、 MessageQueue 、 Weblog
数据转换功能字段映射；映射的自动匹配；字段的拆分；多字段的混合运算；跨异构数据库的关联；自定义函数；多数据类型支持；复杂条件过滤；支持脏读；数据的批量装载；时间类型的转换等等。
管理和调度功能统一的基于三层体系架构开放性的平台，支持多线程、并发性、分布式、负载均衡。支持时间触发方式；支持事件触发方式；支持命令行执行方式；支持用户对计算机资源的管理和分配；负载均衡；调度过程中能够执行其他任务等。，支持统一的管理监控。
集成和开放性产品充分利用当今的最新的软件技术，采用面向服务的体系架构 SOA （ Service Oriented Architecture ）将各种数据处理和处理方法作为“插件”插入到 UDIS 统一的平台系统中，能共享 UDIS 的基础资源，能方便的集成第三方的产品同时也便于第三方集成我们的产品。另外对用户自定义资源如自定义函数、规则引擎、个性化清洗方法等可以方便的进行添加和管理。　　　　　　　　　　　　　　　　　　　
元数据管理支持统一的元数据管理，对技术层面和业务层面的原数据进行统一的管理，支持多种方式访问元数据；支持开放的元数据标准；支持 XML 进行元数据交换；支持分布式的元数据访问和管理；支持元数据重用等。
应用场景
历史数据迁移实现历史遗留数据的重用，将历史数据迁移到新的目标数据库中
数据同步实现分布的数据库中数据的上传、下载，保证分布数据库中的数据的一致性
数据合并实现不同应用的数据库中的个性化数据到统一结构的数据库中的数据的合并，包括清洗、转换等操作
数据交换实现分布的数据库和集中的数据库之间的交互。包括数据集中、数据分发、格式转化等
数据仓库实现将分散的数据集中到统一的数据仓库中，并建立统一的数据模型来存储。包括：数据的上传、转换、将处理后的结果装载到事实表中，结合维度表形成数据立方。供 OLAP 分析、报表、预测等 BI 应用使用
数据联邦保存数据源的映射关系，数据仍在原系统中存储，主要满足数据的实时处理、统一结构视图等需要

数据抽取方式

批量数据抽取定期批量的抽取数据源的数据
变化数据抽取根据数据源的变换，抽取变化的数据（包括：新增、修改、删除等）
实时数据抽取实时捕捉数据源的数据进行抽取
数据交付方式
加载到物理目标将抽取过滤的数据经过清洗、转换处理后加载到目标库中，这里可以进行事实表和立方体的处理，也可以仅作转换处理到目标表，也可以不作转换直接到目标表等
生成虚拟视图做数据联邦处理，不做数据的集中，数据分散存储在各自的业务系统中，目的是提供统一视图供其他系统使用数据
发布到 Web Service 将集成的数据发布到 Web Service 供其他系统使用
发布到消息总线上将集成的数据发布到消息总线上供其他系统使用

详情见：[url]www.reiking.com.cn[/url]

睿智（睿金）ETL介绍相关推荐

etl介绍与etl工具比较_ETL万岁
etl介绍与etl工具比较提取转换负载是从一个数据系统中提取数据并加载到另一个数据系统中的过程. 涉及的数据系统称为源系统和目标系统. 来自源系统的数据形状与目标系统不匹配,因此需要进行一些转换以使 ...
《ETL原理及应用》学习笔记 ·001【ETL介绍】
注:前言.目录见 https://blog.csdn.net/qq_44220418/article/details/108428971 Tips:本节内容偏概念性,做简单了解即可文章目录一.ET ...
BI开发流程和ETL介绍
BI开发流程和ETL介绍 BI开发过程 1. 构建维度-事实模型 2. 根据维度-事实模型搭建数据仓库(维度.事实) 3. 数据抽取(ETL) 4. 构 ...
ETL介绍及工作原理
ETL介绍及工作原理 ETL简介 ETL如何工作? 数据集的定义 ETL简介 ETL即EXTRACT(提取).Transform(转换).LOAD(加载): 提取是从数据库读取数据的过程.在此阶段,通 ...
【ETL】ETL介绍与ETL工具比较
本文转载自:http://blog.csdn.net/u013412535/article/details/43462537 ETL,是英文 Extract-Transform-Load 的缩写,用来 ...
【转】ETL介绍与ETL工具比较
本文转载自:http://blog.csdn.net/u013412535/article/details/43462537 ETL,是英文 Extract-Transform-Load 的缩写,用来 ...
金龙云介绍——城轨云相关
"金龙云",是北京城建集团核心自主知识产权的城轨综合服务云产品系统,目前在昆明四号线有应用. 背景: 随着城市交通的快速发展,城市轨道交通列车的数量日益剧增,客运量及需求的不断膨胀 ...
Kriging(克里金模型)介绍
克里金模型最早出现在地质学文献中,用来估计有价值矿物的分布.萨克斯·艾尔1989年将这种方法应用于近似的计算机实验.此后,克里格法被广泛研究并应用于工程领域. 克里格模型也称为高斯过程模型,因为它将目 ...
[目录]Pentaho Kettle解决方案：使用PDI构建开源ETL解决方案
第一部分:开始 1 ETL入门 1.1 OLTP和数据仓库对比 1.2 ETL是什么 1.2.1 ETL解决方案的演化过程 1.2.2 ET ...

睿智（睿金）ETL介绍

睿智（睿金）ETL介绍相关推荐

最新文章

热门文章