排除Transformation Errors

当运行session时，会产生大量的Transformation Errors，这些Error会导致性能变慢

1 Transformation Errors导致性能降低的原因
　　当有大量记录有Transformation Errors时，Integration Service会进行如下操作而降低性能
　　　　1) 查明引起error的原因
　　　　2) 从数据流中将有error的记录排除
　　　　3) 将该error数据写入session log2 什么情况下会导致Transformation Errors
　　Transformation errors通常会在如下情况发生，若错误集中在某些特定的组件，就要仔细评估它们的约束条件
　　　　1) 字段类型转换错误
　　　　2) mapping中有逻辑冲突
　　　　3) 条件设定错误(里面有null值)3 关于最大error记录数限制
　　关于Transformation Errors是有最大数量限制的
　　当未设置最大error记录数限制时，则Integration Service会一直处理下去直到所有数据处理完毕
　　当设置最大error记录数限制时，则Integration Service在处理中，当发现超过这个限制时，会停止session

4 降低session的tracing level
　　当数据有大量包含Transformation error的记录时，也可通过降低session的tracing level实现性能提升
　　即通过减少写入session log的内容(主要是error记录信息)来节省I/O时间，从而整体上减少运行所花费时间
　　但这种方式并不能根本解决性能，因此不推荐使用

排除Transformation Errors相关推荐

2021年大数据Flink（十二）：流批一体API Transformation
目录 Transformation 官网API列表基本操作-略 map flatMap keyBy filter sum reduce 代码演示合并-拆分 union和connect split. ...
T4 (Text Template Transformation Toolkit)实现简单实体代码生成
在很多场景下,我们都需要代码生成.你可以使用CodeSmith,不过它是商业软件.VisualStudio2008中自带也有代码生成功能.那就是T4 (Text Template Transforma ...
openshift s2i_对Openshift上的Play Framework 2应用进行故障排除
openshift s2i Openshift故障排除使用" 自己动手"应用程序类型,您实际上可以有很大的自由度来支持几乎可以在Linux机器上构建和运行的任何框架或服务器. ...
对Openshift上的Play Framework 2应用进行故障排除
Openshift故障排除使用" 自己动手"应用程序类型,您实际上可以有很大的自由度来支持几乎可以在Linux机器上构建和运行的任何框架或服务器. 但是您必须做功课,并做一些 ...
reducebykeyandwindow java_Spark Streaming笔记整理（三）：DS的transformation与output操作
[TOC] DStream的各种transformation Transformation Meaning map(func) 对DStream中的各个元素进行func函数操作,然后返回一个新的DSt ...
debugging Auto Layout:Logical Errors
Logical Errors逻辑错误 Logical errors are simply bugs. Somewhere, you have an assumption that is faulty. ...
rsync和inotify实时同步配置 exclude排除多个文件夹
同步的方向:同步的服务器(更新发送) →→→→→→被同步的服务器(接收) 或者说是客户端 →→→ 服务端 (客户端内容向服务端同步) 同步的服务器配置 1,安装rsync和inotify wg ...
频发：故障排除之又见 ORA-4031丨云和恩墨技术通讯
亲爱的读者朋友: 为了及时共享行业案例,通知共性问题,达成共享和提前预防,我们整理和编辑了<云和恩墨技术通讯>,通过对过去一段时间的知识回顾,故障归纳,以期提供有价值的信息供大家参考.同时 ...
【安全】Kerberos相关问题进行故障排除| 常见错误和解决方法
1.概述转载为了学习:Kerberos相关问题进行故障排除| 常见错误和解决方法 2.总结可以用来帮助诊断Kerberos相关问题的原因并实施解决方案的指南. 3. 症状单击症状链接转到相应的 ...
定位排除数据库故障_对数据库邮件故障进行故障排除
定位排除数据库故障描述 (Description) Database Mail is a convenient and easy way to send alerts, reports, or da ...

排除Transformation Errors

排除Transformation Errors相关推荐

最新文章

热门文章