Informatica PowerCenter的数据源可以是

  • 关系型数据库

    Oracle, Sybase ASE, Informix, IBM DB2, Microsoft SQL Server, SAP HANA, Teradata等。

  • 文件

    固定格式的文本文件,COBOL文件, XML文件, 网络日志等。

  • 应用系统

    通过购买 PowerExchange产品,可以直接访问业务系统如:Hyperion Essbase, WebSphere MQ, IBM DB2 OLAP Server, JMS, Microsoft Message Queue, PeopleSoft, SAP NetWeaver, SAS, Siebel, TIBCO, webMethods等。

  • 大型机

    通过购买 PowerExchange产品,可以直接访问大型机如:Adabas, Datacom, IBM DB2 OS/390, IBM DB2 OS/400, IDMS, IDMS‑X, IMS, VSAM等。

  • 其它

    Microsoft Excel, Microsoft Access, 外部网络应用等。

Informatica PowerCenter的数据目标可以是

  • 关系型数据库

    Oracle, Sybase ASE, Sybase IQ, Informix, IBM DB2, Microsoft SQL Server, SAP HANA, Teradata等。

  • 文件

    固定格式的文本文件,XML文件等。

  • 应用系统

    通过购买 PowerExchange产品,可以直接访问业务系统如:Hyperion Essbase, WebSphere MQ, IBM DB2 OLAP Server, JMS, Microsoft Message Queue, PeopleSoft EPM, SAP NetWeaver, SAP NetWeaver BI, SAS, Siebel, TIBCO, webMethods等。

  • 大型机

    通过购买 PowerExchange产品,可以直接访问大型机如:IBM DB2 for z/OS, IMS, VSAM等。

  • 其它

    Microsoft Excel, Microsoft Access, 外部网络应用等。除此之外,还可以将数据以ODBC或者自有驱动,FTP等方式,加载到其它类型的目标中。

Informatica Domain较为详细的介绍

PowerCenter的架构是面向服务的,它提供跨服务器伸缩和共享资源的能力。Informatica domain为管理PowerCenter和Informatica服务提供支持。一个Domain是PowerCenter中管理服务的主要单元。一个Domain中有如下组件。

1)一个或者多个节点。一个节点是一台服务器的逻辑表示。一个Domain可以包含一台或者多台服务器。Domain所在的节点是一个Domain的主网关。其它服务器可以以节点的形式被添加配置到Domain中,运行Integration Service,Repository Service等应用。对于其它应用的服务请求必须通过主网关。

2)Service Manager,它是Domain自由服务,为Domain和应用服务提供支持。Service Manager在Domain中的每个节点上运行。Service Manager负责在节点上启动应用服务。

3)Application Services,一组服务提供Informatica服务功能。哪些节点上运行哪些应用服务,取决于节点和应用服务之间的配置。

我们可以通过Informatica Administer来关系Domain。

如果需要高可用服务,我们可以通过扩展服务来解决单点故障问题,这样当临时网络故障或者硬件故障时,Service Manager和应用服务可以继续提供服务。高可用服务为Domain中的服务和任务提供 快速恢复,故障切换,故障恢复的能力。

Service Manager较为详细的介绍

Service Manager为Domain和应用服务提供支持。它有如下功能:

1)告警,提供关于Domain和服务事件的notification。

2)认证,为来自Adminstrator tool,PowerCenter client,和Metadata Manager的用户提供认证功能。

3)授权,为来自Administer tool或者infacmd的用户请求提供授权服务。

4)Domain配置,管理和配置 Domain metadata。

5)节点配置,管理node metadata。

6)许可证服务,当运行应用服务时,注册并验证许可证信息。

7)日志服务,为Domain中每个服务提供积累的日志事件。我们可以通过Adminstrator Tool和Workflow Monitor查看日志信息。

8)用户管理,管理用户,群组,角色和权限。

常用Application Services较为详细的介绍

1)Analyst Service,管理到Informatica Analyst的连接。

2)Data Integration Service,为Informatica Analyst,Informatica Developer,和外部客户端提供数据集成任务。

3)Model Repository Service,为Informatica Developer,Informatica Analyst, Data Integration Service和Informatic Administrator存储metadata。

4)PowerCenter Repository Service,管理到PowerCenter repository的连接。

5)PowerCenter Integration Service,运行PowerCenter sessions和workflows。

6)Web Service Hub,通过网络服务将PowerCenter功能暴露给外部客户端。

7)Sap BW Service,监听来自Sap NetyWeaver BI的RFC请求,并且启动从SAP NetWeaver BI读取数据或者写入数据到到Sap NetWeaver BI的workflow。

8)Metadata Manager Service,运行Metadata Manager应用。

PowerCenter Repository

PowerCenter repository存在于关系型数据库中。这个repository存储着关于ETL的信息,它还存储着用户、组需要哪些权限权限来访问repository的信息。PowerCenter应用通过RepositoryService访问PowerCenter Repository。

我们可以通过Informatic Administrator和命令行来管理repository。我们可以开发global repositories和local repositories来共享metadata。

Global Repository,是整个Repository Domain的中心。我们通过它存储,多个开发员可以通过快捷方式使用的,通用对象。这些对象可以是操作型,应用型源定义,可复用的transformations,迷你地图,mapping等。

Local Repository,一个Domain中除了global repository,其它的都是local repository。我们通过local repository为开发过程存储信息。一个local repository中,在共享目录中我们可以为global repository中的对象创建快捷方式。这些对象包括源定义,通用纬度和Lookup,企业级标准transformation等。我们还可以在非共享目录中创建对象的副本。

我们可以在RepositoryManager中查看repository metadata。Informatica Metadata Exchange(MX)提供了一套关系型视图,使得我们可以以SQL的形式访问PowerCenter metadata repository。

Informatica Administrator

Informatica Administrator是一个网络应用。通过它我们可以管理PowerCenter Domain和PowerCenter security。我们还可以为Informatica Analyst和Informatica Developer提供应用服务管理的功能。这些应用服务包括Analyst Service,Model Repository Service,Data Integration Service。

常用组件

1)Expression组件,基于行级的数据项赋值修改计算,在同行记录中可以新增减少数据项。属于Passive组件。可以进行数据类型转换,数据项计算等。

2)Source Qualifier、Filter组件,对流入组数据中的记录数据进行过滤,类似于关系型数据库中的where条件。属于Active组件。

3)Router组件,对流入组件中的记录数据按照条件进行分发,类似于Java中的switch语句。属于Active组件。

4)Joiner组件,对异构数据进行关联(同构关联用Source Qualify组件),类似于SQL中的join语句。属于Active组件。

5)Lookup组件,对Flat File或者数据库根据关联的条件进行查询,返回符合条件的值,否则为空,连接关联与非连接关联,类似SQL中的join语句。属于passive组件。

6)Aggregator组件,对数据集进行聚合,聚合有SUM,AVG,COUNT,Max,Min等。属于Active组件。

7)Update Strategy组件,对流过组件的每一条记录赋一个操作标志,根据操作标志对目标关系型数据库表生成SQL操作。操作标志有DD_Insert, DD_Delete, DD_Update, DD_Reject。属于Active组件。

8)Normalizer组件,可以实现列行互换。

系统性能调优:

瓶颈有,Source瓶颈,Target瓶颈,Mapping瓶颈,Session瓶颈,System瓶颈。

Source调优,当源是文本文件时,调优Line Sequential Buffer Length;当源为关系型数据库时,在SourceQualify优化SQL,在源数据增加索引,增加Database network Packet size,当Informatica和DBa在同一台服务器上时使用IPC协议。

Target调优,当目标是文本文件是调优Line Sequential Buffer Lenght;当目标为关系型数据库时,删除目标索引和约束,增加checkpoint interval,使用bulk load和External Loading,增加DBa network Packet size,当Informatica和DBa在同一台服务器上时使用IPC协议。

Mapping调优,最少化转换组件,减少不必要的link,对Aggregator,Joiner,Rank,Lookup等组件减少连接的input/ouput字段,读一次数据多次使用,减少数据类型转换等。

Session调优,增加partition,调优session参数如增加DTM buffer pool size可以增加Buffer Block的数目,增加buffer block size可以增加一次书里的数据的行数,增加commit inverval。

System调优,增加network speed,本地网络比互联网快;使用Informatica gird等。

Informatica PowerCenter 简介(二)相关推荐

  1. Informatica PowerCenter 简介(一)

    参考文档: https://docs.informatica.com/data-integration/powercenter/10-5/getting-started/product-overvie ...

  2. Informatica PowerCenter 简介(三)

    PowerCenter Client PowerCenter Client 由管理 repository,设计mapping,mapplet以及加载数据的session的工具组成.它包括如下工具: D ...

  3. Informatica PowerCenter工作流管理系统

    @Informatica PowerCenter工作流管理系统 工作流管理系统是一个软件系统,它完成工作流的定义和管理,并按照在计算机中预先定义好的工作流逻辑推进工作流实例的执行. 工作流管理技术是解 ...

  4. informatica powercenter 9.6.1测试迁移数据

    一.Informatica客户端之Repository.Designer.Workflow.Mnoitor 1.1 打开 Informatica powercenter Repository连接配置好 ...

  5. 视频教程-Informatica PowerCenter 10.2 权威指南中文版-ETL

    Informatica PowerCenter 10.2 权威指南中文版 2018 -- 今天 派客动力 CTO 2007-2018 Informatica 中国区技术总监 <Informati ...

  6. Informatica PowerCenter(Informatica PowerCenter)- 下载 -应用软件-电驴资源

    下面是用户共享的文件列表,推荐使用eMule 进行下载,您可以点击这些文件名进行下载   [Informatica.PowerCenter].Full_Informatica_Powermart4.7 ...

  7. TiDB 简介(二)

    参考:TiDB 简介_福海鑫森的博客-CSDN博客_tidb开发语言 TiDB 简介 | PingCAP Docs TiDB 是 PingCAP 公司自主设计.研发的开源分布式关系型数据库,是一款同时 ...

  8. 【Informatica Powercenter】关于log4j

    1.PowerCenter 漏洞补救相关 Intormatica正在监视和响应可能影响我们与ApacheLog4j安全漏洞相关的产品和服务的威胁.本文提供有关与PowerCenter漏洞补救相关的更新 ...

  9. 单元测试及NUnit测试框架简介(二)

    一.单元测试框架的选择 在选择单元测试框架时,可以从以下几个方面去考虑: 支持自动检测注册用例:框架能否支持简单地构造用例并自动注册测试用例到测试框架中: 支持测试Fixture:即是否支持为一组测试 ...

最新文章

  1. 红楼梦 --- 花开在眼前
  2. Ubuntu安装okular PDF阅读器
  3. Linux代理后网页显示问题,项目部署到linux后出现的两个问题
  4. Android使用百度地图定位
  5. Boost:基于Boost的一个微小的actor框架
  6. 期货计算机撮合成交的原则,[期货知识]计算机撮合成交方式是什么?成交价形成方式有哪些 - 南方财富网...
  7. Java 8中HotSpot选项的改进文档
  8. 正则表达式(面试会考)
  9. Java txt转xml中文乱码_JAVA dom4j实现String字符串转换成XML文件(解决中文乱码问题)...
  10. 递归问题学习二之卡牌组合问题
  11. python报错:ValueError: invalid literal for int() with base 16: ‘ ‘
  12. 搭建STM32开发环境
  13. 机器学习深度神经网络——实验报告
  14. 1007 Problem H A+B 输入输出练习VIII
  15. 有关bug走过的坑(复盘总结)
  16. Android下拉刷新的实现(一) - SwipeRefreshLayout篇
  17. 智能多模式,视线追踪控制界面的应用(翻译)
  18. DBA生涯之如何成为高级DBA
  19. 面试官:让你实现一个秒杀系统,你会怎么设计?
  20. IFTTT实现新浪微博完美同步Twitter

热门文章

  1. c# 静态成员和实例成员的区别
  2. 微信小程序下拉刷新问题
  3. 小家电三大颠覆性产品为何都出自九阳?
  4. 提权方式及原理简介(面试)
  5. 格式化或删除的文件 恢复
  6. 计算机打开网络连接,win7电脑三种打开网络连接上网的方法
  7. 标题:主机名莫名其妙的由localhost变成bogon的解决方法
  8. openpyxl中读大批量数据的方法——Optimized reader
  9. 16-响应式布局(bootstrap框架)
  10. xampp服务器默认配置文件,服务器xampp安装教程与配置