原文地址:[转载]MATLAB内存管理作者:小菜

今天用Matlab跑程序,由于数据量太大,又出现 Out of memory. Type HELP MEMORY for your options.的问题。看到这篇文章非常实用,转过来方便查阅~

用 Matlab 进行大规模科学计算或仿真时,内存是一个需要时常注意的问题。在matlab里运行

>>system_dependent memstats

就可以看到内存的使用状况。当你写的 Matlab 程序跳出“Out of Memory” 时,以下几点措施是需要优先考虑的解决方法:

1. 升级内存

2. 升级64位系统

3. 增加虚拟内存

4. 采用3GB开关启动系统

由于32位 Windows 操作系统的限制,每个进程只能使用最多 2GB 的虚拟内存地址空间,因此 Matlab 的可分配内存也受到相应的限制。Matlab 7.0.1 引进了新的内存管理机制,可以利用 Windows 的 3GB 开关,使用 3GB 开关启动的 Windows 每个进程可以在多分配 1 GB 的虚拟地址空间。具体做法是:修改C盘根目录 boot.ini 启动选项加上 /3G,例如:
multi(0)disk(0)rdisk(0)partition(1)WINDOWS="Microsoft Windows XP Professional" /noexecute=optin /fastdetect /3G

5. 如果必有必要,不要启动java虚拟机,采用matlab -nojvm启动 (在快捷方式属性里面的 "..../matlab.exe") 改为("...../matlab.exe" - nojvm)

6. 关闭Matlab Server
   控制面板-管理工具-服务, 再找到matlabserver对应项,把启动类型的自动改为手动即可

matlab server作为后台服务可以在其它机器上通过网络调用此服务,进行计算任务。

7. Windows中字体、窗口等都是要占用系统资源的,所以在Matlab运行时尽量不要打开不用的窗口。

除此以外,更关键的是需要弄清楚以下几个问题:

问题一:Matlab是如何存储矩阵的?
Matlab中矩阵是以Block,也就是块的形式存储的。也就是说,当Matlab在为即将存储的矩阵划分块时,如果没有相应大小的连续内存,即使实际内存没有被完全使用,它还是会报告“Out of Memory”。

问题二:如何高效使用Memory?
Matlab 中数组必须占用连续分配的内存段,当无法为新建的数组分配连续的内存段的时候,”Out of Memory” 就会出现。在使用的过程中,由于存储单元的不断的被分配和清除,反复分配和释放数组会使内存被分割成不连续的区域,可用的连续内存段减少,很容易造成 “Out of Memory”。因此当 Matlab 刚刚启动时其连续内存最多,此时往往可以新建非常大的数组,这一点可以用命令 feature(’memstats’)(在 7.0 版本以上)看出。如果现实的最大连续内存段很小,但实际可用内存(非连续的)仍旧很多,则表明内存中碎片太多了。此时可以考虑用 pack 命令,pack 命令的作用就是将所有内存中的数组写入硬盘,然后重新建立这些数组,以减少内存碎片。此外,在命令行或者程序中都可以使用 clear 命令,随时减少不必要的内存。

因此,治本的方法如下:

1. 在命令行输入 pack 整理内存空间

当内存被分为很多碎片以后,其实本身可能有很大的空间,只是没有作构的连续空间即大的Block而已。如果此时Out of Memory,此时使用pack命令可以很好的解决此问题。

2. 使用稀疏矩阵或将矩阵转化成稀疏形式 sparse

如果矩阵中有大量的0,最好存储成稀疏形式。稀疏形式的矩阵使用内存更少,执行时间更短。例如:
000×1000的矩阵X,它2/3的元素为0,使用两种存储方法的比较:

Name
Size
Bytes
Class

X
1000x1000
8000000
double array

Y
1000x1000
4004000
double array (sparse)

3. 尽量避免产生大的瞬时变量,把没必要的变量clear掉或当它们不用的时候应该及时clear。

4. 减少变量,尽量的重复使用变量(跟不用的clear掉一个意思)。

5. 把有用的变量先save,后clear 掉,需要时再读出来。

下面介绍一下关于clear、save、load的特殊用法,这对在for或while等多重循环里出现out of memory非常有效。

for k = 1:N     % N为循环次数
% ---------------------
     var0 = k; % 获得变量var0                        
%----------------------
     string = [sprintf('var_%d', k) ' = var0;' ];
     eval_r(string);                                               % 等价于 var_k = var0;
     save(sprintf('var_%d.mat', k), sprintf('var_%d')); % 等价于 save var_k.mat var_k
     clear(sprintf('var_%d'));                                   % 等价于 clear var_k
end

如果要读取刚才存取的变量var_k, (k = 1,2, ..., N). 那么,可以使用如下用法:

for k = 1:N
       load(sprintf('var_%d.mat', k));     % 等价于 load var_k.mat     k = 1,2, ..., N
end

另外,还有一些非常有用的用法。如果用清除刚才读取的变量 var_k, k = 1, 2, ..., N

clear '-regexp' '^var_'     % 清除所有以“ var_ ”开头的变量

还有很多关于save、clear、load等用法,具体help一下。

6. 使用单精度 single 短整数替代双精度 double

Matlab 默认的数字类型是双精度浮点数 (double),每个双浮点数占用 8 个字节。对于一些整数操作来说,使用双浮点数显得很浪费。在 Matlab 中可以在预先分配数组时指定使用的数字类型如以下命令:zero(10, 10, ‘uint8′) 。对于浮点数,在很多精度要求不高的情况下,可以使用4个字节的单浮点数 (single),可以减少一半的内存。关于单、双浮点数的精度对照如下,以便根据需要选择使用:
single: 精度 (1.1921e-007) 最大数 (3.4028e+038)
double: 精度 (2.2204e-016) 最大数 (1.7977e+308)

7. 为矩阵变量预制内存而不是动态分配

在动态分配的过程中,由于开始Matlab所用的Block随着矩阵的增大而连续的为此矩阵分配内存,但是由于Block的不连续性,很有可能最开始分配 的Block不能满足存储的需要,Matlab只好移动此Block以找到更大的Block来存储,这样在移动的过程中不但占用了大量的时间,而且很有可 能它找不到更大的块,导致Out of Memory。而当你为矩阵变量预制内存时,Matlab会在计算开始前一次性找到最合适的Block,此时就不用为变量连续的分配内存。比较下面两个程 序:

for k = 2:1000
     x(k) = x(k-1) + 5;
end

x = zeros(1, 1000);
for k = 2:1000
     x(k) = x(k-1) + 5;
end

显然,第二个更好!!!最好的方法是,在程序一开始就位所有大的矩阵变量预制存存储单元!!!

8. 尽量早的为大的矩阵变量预制内存

Matlab使用heap method管理内存。当在Matlab heap中没有足够的内存使用时,它会向系统请求内存。但是只要内存碎片可以存下当前的变量,Matlab会重新使用内存。比如:

a = rand(1e6,1);
b = rand(1e6,1);
使用大约15.4 MB RAM

c = rand(2.1e6,1);
使用近似16.4 MB RAM

a = rand(1e6,1);
b = rand(1e6,1);
clear
c = rand(2.1e6,1);
使用32.4 MB RAM

Matlab不能使用a、b被clear的空间,因为它们均小于2.1 MB,而同时它们也很可能是不连续的。最好的方法:

c = rand(2.1e6,1);
clear
a = rand(1e6,1);
b = rand(1e6,1);
使用16.4 MB RAM

9. 如果可行的话,将一个大的矩阵划分为几个小的矩阵,这样每一次使用的内存减少。

经过保存需要的变量,删除不必要的变量,运行pack命令,系统前后的内存占用情况有了很大改善:

这是清理之前:

>> memory
Maximum possible array:              15 MB (1.622e+007 bytes) *
Memory available for all arrays:    194 MB (2.036e+008 bytes) **
Memory used by MATLAB:             1549 MB (1.624e+009 bytes)
Physical Memory (RAM):             4095 MB (4.294e+009 bytes)

*  Limited by contiguous virtual address space available.
** Limited by virtual address space available.

这是清理之后:

Maximum possible array:             252 MB (2.641e+008 bytes) *
Memory available for all arrays:    988 MB (1.036e+009 bytes) **
Memory used by MATLAB:              762 MB (7.991e+008 bytes)
Physical Memory (RAM):             4095 MB (4.294e+009 bytes)

*  Limited by contiguous virtual address space available.
** Limited by virtual address space available.

文章转自:http://hi.baidu.com/flyingsnow0102/blog/item/98266c1955b512f5ae51331b.html

[转载]MATLAB内存管理相关推荐

  1. matlab内存管理工具,[转载]MATLAB内存管理

    今天用Matlab跑程序,由于数据量太大,又出现 Out of memory. Type HELP MEMORY for your options.的问题.看到这篇文章非常实用,转过来方便查阅~ 用 ...

  2. matlab 3gb开关 win7,【转】Windows 32位系统 大内存 3GB开关 Matlab 内存管理

    /3GB 开关默认情况下,Windows 可以对总计 4 千兆字节 (GB) 的虚拟地址空间进行寻址.默认情况下,此地址空间中的 2 GB 为内核(操作系统)保留,另外 2 GB 是为用户模式程序(如 ...

  3. matlab内存管理

    转自:http://my.donews.com/deng/2006/09/24/vijgqxehmkxiruywdauvxyiafogtskeymhyw/ 用 Matlab 进行大规模科学计算或仿真时 ...

  4. [转载] Java内存管理-你真的理解Java中的数据类型吗(十)

    参考链接: Java中的字符串类String 1 做一个积极的人 编码.改bug.提升自己 我有一个乐园,面向编程,春暖花开! 推荐阅读 第一季 0.Java的线程安全.单例模式.JVM内存结构等知识 ...

  5. 转载 Linux内存管理(最透彻的一篇)

    摘要:本章首先以应用程序开发者的角度审视Linux的进程内存管理,在此基础上逐步深入到内核中讨论系统物理内存管理和内核内存的使用方法.力求从外到内.水到渠成地引导网友分析Linux的内存管理与使用.在 ...

  6. matlab内存管理(二)

    转自:http://hi.baidu.com/bi%CB%AB%C9%FA%BB%A8/blog/item/5ab86c38ac2f45e715cecbab.html 1,确保内存的连续性 Matla ...

  7. 艾伟_转载:.NET内存管理、垃圾回收

    1. Stack和Heap 每个线程对应一个stack,线程创建的时候CLR为其创建这个stack,stack主要作用是记录函数的执行情况.值类型变量(函数的参数.局部变量 等非成员变量)都分配在st ...

  8. 【转载】ogre内存管理

    原文:ogre内存管理 OGRE内存分配策略相关文件及简述 OGRE提供了自己的内存分配策略,甚至为STL容器提供了新的分配策略,相关文件及简述如下: OgreMemoryAllocatedObjec ...

  9. (转载)深入理解Linux中内存管理---分段与分页简介

    首先,必须要阐述一下这篇文章的主题是Linux内存管理中的分段和分页技术. 来回顾一下历史,在早期的计算机中,程序是直接运行在物理内存上的.换句话说,就是程序在运行的过程中访问的都是物理地址.如果这个 ...

  10. Python内存管理机制及优化简析(转载)

    from:http://kkpattern.github.io/2015/06/20/python-memory-optimization-zh.html 准备工作 为了方便解释Python的内存管理 ...

最新文章

  1. SAP MM采购定价过程的一个简单例子
  2. qtdesigner怎么实现菜单栏跳转_人人都可写代码-Android零基础编程-app 入口菜单栏实操08...
  3. 在spring web中启动mqtt
  4. redis 槽点重新分配 集群_redis集群高可用部署-cluster-槽点的迁移查看
  5. 命令执行——远程命令执行(二)
  6. TCP 协议的三次握手、四次分手
  7. mysql 时间chuo格式化_mysql格式化日期
  8. lucene bug的报告经历
  9. linux 中eth,执行命令取出linux中eth0的IP地址
  10. 行测题数字推理技巧总结(简单精辟)
  11. 鬼谷八荒逆天改命词条通过C++代码制作
  12. 打工就是 “演戏”,你可以认真,但别太当真
  13. 初学者如何选入门第一把吉他,这几个防坑避雷小技巧你一定要知道!
  14. Linux操作系统之安装Linux虚拟机
  15. Mac使用技巧:轻松自定义设置系统键盘
  16. librtmp的简单安装使用
  17. Python编程100例--身份证号码的校验码
  18. Java数据结构-图
  19. 小白的python学习日记==>用python写几个经典小游戏
  20. 自动驾驶会不会是个伪需求?

热门文章

  1. excel sumifs多条件求和
  2. HTML制作虾米音乐,如何用jQuery仿虾米音乐网完整源码
  3. 第四届橙瓜网络文学奖20年十佳言情大神天下归元暂时排第三名
  4. 同账号不同服务器幻化T2,魔兽世界TBC怀旧服预热采访—不会开放幻化,直升58每个账号只有一次机会...
  5. 5000在线的服务器选择,支持负载5000人10000人在线的服务器的配置及其网络要求!!...
  6. 交互式电子白板的八种常用功能
  7. 用计算机探索商的变化规律教案,用计算器探索规律教学设计与反思(精选5篇)...
  8. 华硕无线网卡测试软件,高端便携无线网卡来了 华硕USB-AC68首测
  9. 从零开始搭建Salt Web之初探salt-api
  10. html 网页不可以复制粘贴,网页上的文字不能复制,三种方法教你复制全网文字...