最近在帮香港地铁在做一个数据转换，老的系统的表数据量都在几千万级别的，转换到700万左右就会出现以下错误：

2011/06/23 06:14:20 - PM_MEASUREMENT_READING.0 - linenr 7550000

2011/06/23 06:14:20 - Update.0 - linenr 7550000

2011/06/23 06:14:27 - BU_ID.0 - LineNr : 15150000

2011/06/23 06:14:37 - EQUIP_ID.0 - linenr 7600000

2011/06/23 06:15:06 - CONV_EAM_METER_READING.0 - linenr 7650000

2011/06/23 06:15:06 - MEASUREMENT_ID.0 - linenr 7600000

2011/06/23 06:15:46 - Add sequence.0 - linenr 7650000

2011/06/23 06:15:46 - BU_ID.0 - LineNr : 15200000

2011/06/23 06:15:46 - Switch 1.0 - linenr 7600000

2011/06/23 06:15:46 - Judge.0 - linenr 7600000

2011/06/23 06:15:46 - Switch 2.0 - linenr 7600000

2011/06/23 06:16:35 - Convert LAST_UPD_USER_ID.0 - linenr 7650000

2011/06/23 06:16:35 - Filter rows.0 - linenr 7600000

2011/06/23 06:17:34 - STATUS.0 - linenr 7650000

2011/06/23 06:17:35 - PM_MEASUREMENT_READING.0 - linenr 7600000

2011/06/23 06:17:35 - Update.0 - linenr 7600000

2011/06/23 06:17:41 - BU_ID.0 - LineNr : 15250000

2011/06/23 06:17:51 - EQUIP_ID.0 - linenr 7650000

2011/06/23 06:18:21 - CONV_EAM_METER_READING.0 - linenr 7700000

2011/06/23 06:18:21 - MEASUREMENT_ID.0 - linenr 7650000

2011/06/23 06:18:59 - Add sequence.0 - linenr 7700000

2011/06/23 06:18:59 - BU_ID.0 - LineNr : 15300000

2011/06/23 06:18:59 - Switch 2.0 - linenr 7650000

2011/06/23 06:18:59 - Switch 1.0 - linenr 7650000

2011/06/23 06:18:59 - Judge.0 - linenr 7650000

2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : Because of an error, this step can't continue:

2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : org.pentaho.di.core.exception.KettleDatabaseException:

2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : Unable to roll back database transaction to savepoint

2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : ORA-04030: 在尝试分配 484 字节 (session heap,kxsc: kkspsc0) 时进程内存不足

2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : org.pentaho.di.core.database.Database.rollback(Database.java:4766)

2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : org.pentaho.di.trans.steps.tableoutput.TableOutput.writeToTable(TableOutput.java:405)

2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : org.pentaho.di.trans.steps.tableoutput.TableOutput.processRow(TableOutput.java:117)

2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : org.pentaho.di.trans.step.RunThread.run(RunThread.java:40)

2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : java.lang.Thread.run(Thread.java:619)

2011/06/23 06:19:32 - Get Variables 1.0 - Finished processing (I=0, O=0, R=1, W=1, U=0, E=0)

2011/06/23 06:19:32 - Judge.0 - Finished processing (I=0, O=0, R=7656961, W=15313922, U=0, E=0)

2011/06/23 06:19:32 - CONV_METER - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : Errors detected!

2011/06/23 06:19:32 - Switch 2.0 - Finished processing (I=0, O=0, R=7656961, W=0, U=0, E=0)

2011/06/23 06:19:32 - CONV_METER - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : Errors detected!

2011/06/23 06:19:32 - Dummy (do nothing).0 - Finished processing (I=0, O=0, R=1, W=1, U=0, E=0)

2011/06/23 06:19:32 - Switch 1.0 - Finished processing (I=0, O=0, R=7656961, W=1, U=0, E=0)

2011/06/23 06:19:32 - Get Variables.0 - Finished processing (I=0, O=0, R=3, W=3, U=0, E=0)

2011/06/23 06:19:32 - Get Variables 3.0 - Finished processing (I=0, O=0, R=7636958, W=7636958, U=0, E=0)

2011/06/23 06:19:32 - Update.0 - Finished processing (I=7636958, O=0, R=7636958, W=7636958, U=7636958, E=0)

2011/06/23 06:19:32 - Filter rows.0 - Finished processing (I=0, O=0, R=7646961, W=7646961, U=0, E=0)

2011/06/23 06:19:32 - BU_ID.0 - Finished processing (I=0, O=0, R=7656962, W=15313924, U=0, E=0)

2011/06/23 06:19:32 - CONV_EAM_METER_READING.0 - Finished reading query, closing connection.

2011/06/23 06:19:32 - Add sequence.0 - Finished processing (I=0, O=0, R=7706967, W=7706967, U=0, E=0)

2011/06/23 06:19:32 - MEASUREMENT_ID.0 - Finished processing (I=15333925, O=0, R=7666963, W=7666963, U=0, E=0)

2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - Finished processing (I=0, O=7636958, R=7636959, W=7636958, U=0, E=4)

2011/06/23 06:19:32 - EQUIP_ID.0 - Finished processing (I=15353928, O=0, R=7676964, W=7676964, U=0, E=0)

2011/06/23 06:19:32 - STATUS.0 - Finished processing (I=15373930, O=0, R=7686965, W=7686965, U=0, E=0)

2011/06/23 06:19:32 - Convert LAST_UPD_USER_ID.0 - Finished processing (I=15393932, O=0, R=7696966, W=7696966, U=0, E=0)

2011/06/23 06:19:32 - CONV_METER - CONV_METER

2011/06/23 06:19:32 - CONV_EAM_METER_READING.0 - Finished processing (I=7716969, O=0, R=0, W=7716968, U=0, E=0)

2011/06/23 06:19:32 - CONV_METER - CONV_METER

2011/06/23 06:19:32 - FAIL_RECORDS 1.0 - Finished processing (I=0, O=1, R=1, W=0, U=0, E=0)

2011/06/23 06:19:32 - FAIL_RECORDS.0 - Finished processing (I=0, O=3, R=3, W=0, U=0, E=0)

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

我发现每次报这个错误的时候oracle服务器上面的oracle.exe进程到了1.7g左右，奇怪的是每次都在这个地方就死了，上网查了以下，说是windows环境下oracle有1.7g的内存限制，可以突破限制，但是就算突破了限制，调到2g又有什么用，最多转到1000万有会报这个错误了，转换过程中，oracle进程所占用的内存在不断的增加，我的转换设置的是1000条commit一次的，有没有办法一边转换一边释放掉已经commit了的内存，不然的话要转几千万的数据那oracle进程占用起码要5g左右，kettle里面有没有什么设置可以释放内存的？ 我发现只有转换停止了之后oracle进程才会释放，各位大哥请问有没有什么办法在转换大数据量时不会报以上的错误呢？ 我试过很多oracle的调优，把最大连接数设大、sga和pga都设大了都没效果，反而设大了之后转到400万左右就挂了，各位大哥知道的话请联系我：

qq：263812212

邮箱：263812212@qq.com

2011年6月22日 23:30

kettle 内存设置_Kettle大数据量转换报错ora-04030: 在尝试分配484字节时进程内存不足...相关推荐

  1. shell 获取ora报错信息_ORA-04030: 在尝试分配...字节(...)时进程内存不足的原因分析...

    概述 前段时间使用的oracle 11g数据库,在用一段时间后(开始要较长时间才出现,后来较短时间就出现),频繁报ORA-04030错误,具体错误信息是 ORA-04030: 在尝试分配...字节(. ...

  2. ORA-04030: 在尝试分配...字节(...)时进程内存不足的原因分析解决方法

    ORA-04030: 在尝试分配...字节(...)时进程内存不足的原因分析解决方法 参考文章: (1)ORA-04030: 在尝试分配...字节(...)时进程内存不足的原因分析解决方法 (2)ht ...

  3. python解析excel内存溢出_phpExcel大数据量情况下导出内存溢出解决

    1.将单元格数据序列化后保存在内存中 PHPExcel_CachedObjectStorageFactory::cache_in_memory_serialized; 2.将单元格序列化后再进行Gzi ...

  4. 大数据平台执行报错，权限问题。

    原因:没权限 解决:加上 sudo -u hdfs flink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/ ...

  5. 请教一下，用R语音跑大数据，程序报错，不知道错在哪里

    报错内容如下: Error in eval(ei, envir) : ++++++ Filtering left no data ++++++ In addition: Warning message ...

  6. kettle分批处理大表数据_采用Kettle分页处理大数据量抽取任务

    需求: 将Oracle数据库中某张表历史数据导入MySQL的一张表里面. 源表(Oracle):table1 目标表(MySQL):table2 数据量:20,000,000 思路: 由于服务器内存资 ...

  7. 对大数据量Excel文件自动排版、转换成PDF用于印刷出版

    excel排版大师 下载  http://pan.baidu.com/s/1eQnY0hW 2015.3. 目录 一.主要功能 2 二.系统需求 3 三.文件名要求 3 四.目录说明: 4 1.Exc ...

  8. TensorFlow和Keras解决大数据量内存溢出问题

    NVIDIA DLI 深度学习入门培训 | 特设三场! 4月28日/5月19日/5月26日一天密集式学习  快速带你入门阅读全文> 正文共5771个字,1张图,预计阅读时间10分钟. 内存溢出问 ...

  9. POI3.8解决导出大数据量excel文件时内存溢出的问题

    POI3.8解决导出大数据量excel文件时内存溢出的问题 参考文章: (1)POI3.8解决导出大数据量excel文件时内存溢出的问题 (2)https://www.cnblogs.com/feng ...

  10. EasyExcel 低内存导出大数据量的Excel方案探索 50万行 50列 （附：实现代码）

    文章目录 1.前言 2.准备工作 3.导出测试 3.1.单次查询.全量导出 3.2. 多次查询,多个文件,单次写入 3.3.多次查询,多个文件,多次写入 3.4.多线程导出探索 3.5.文件打包成ZI ...

最新文章

  1. 一文详解视觉里程计轨迹评估工具-evo的用法
  2. MacOS下打包Python应用
  3. 【Ionic+AngularJS 开发】之『个人日常管理』App（二）
  4. Spring Security太复杂？试试这个轻量、强大、优雅的权限认证框架！
  5. leetcode算法题--Surrounded Regions
  6. Python入门100题 | 第027题
  7. 如何从Fiori launchpad发出的请求判断出后台是哪个网关系统在响应
  8. leetcode66. 加一
  9. java web 通过servlet访问web_inf jsp跳转_WEB-INF下的jsp通过servlet中超链接跳转
  10. 【电路仿真】基于matlab simulink三相半波可控整流电路【含Matlab源码 331期】
  11. 你不得不知道的通信行业基础介绍
  12. 【Python-神经网络预测】
  13. c语言数组的斐波那契数列
  14. Camera IIC总线
  15. 福大软工 · 真 · 最终作业
  16. 新西兰计算机科学专业排名,2020年新西兰计算机科学专业排名榜
  17. 族蚂网针对宠物网站建设有哪些新体验
  18. 国内的 App 推广渠道有哪些？
  19. 永恒之蓝方程式利用工具使用教程
  20. 软件工程课堂作业（三）——Right-BICEP软件单元测试

热门文章

  1. 第11章 支撑向量机 SVM 学习笔记 下
  2. 20190902每日一句
  3. Atitit 完整知识体系表 attilax总结 要读哪些书
  4. atitit 项目管理 package 模块管理 包管理 依赖管理 maven attilax总结.docx
  5. Atitit  发帖机实现(1)-----UsrQBm2008 页面上下文规范
  6. Atitit.电脑图片与拍摄图片的分别
  7. Atitit. 二进制数据ascii表示法，与base64编码解码api 设计标准化总结java php c#.net
  8. Atitit.数据库事务隔离级别 attilax 总结
  9. CTP: 为什么报网络原因发送失败，但连接却成功？
  10. 张磊：极少有人真正理解时间的价值