matlab内存映射文件操作

日常我们使用matlab进行模型训练，每次训练需要加载的数据都是比较大，都是千万级别的数据，如果从txt或者csv中读取，需要很长时间，这样很影响读取数据的效率。matlab有自己的方式，将数据文件快速加载到内存中。

写文件：

file = fopen('E:\数据分析\login_00000.csv','r','n','utf-8');
data=textscan(file,'%f %f %f %f %f %f %f %f %f %f %f %f %f %f %f %f %f %f %f %f %f %f %f %f %f %f %f %f %f %f %f','delimiter',',','EmptyValue',0,'EndOfLine','\n');
data_1 = cat(2,data{:,1:31});
fileID = fopen('login_00000.dat','w');
fwrite(fileID, data_1,'double');
fclose(fileID);
sz = size(data_1)
save login_00000.mat sz

读文件：

dir='login_00000'
load([dir,'.mat'])
m=memmapfile([dir,'.dat'],'Format',{'double' [sz(1) sz(2)] 'x'})
data=m.Data.x;

效率非常快，我们只需要第一次将我们的数据文件转为dat文件，后面每次通过memmapfile去操作文件都行，效率很高。

matlab内存映射文件操作相关推荐

【JavaNIO的深入研究4】内存映射文件I/O，大文件读写操作，Java nio之MappedByteBuffer，高效文件/内存映射...
内存映射文件能让你创建和修改那些因为太大而无法放入内存的文件.有了内存映射文件,你就可以认为文件已经全部读进了内存,然后把它当成一个非常大的数组来访问.这种解决办法能大大简化修改文件的代码. file ...
使用内存映射文件来提高你程序的性能
本人在学习<WINDOWS核心编程>的时候对JEFFREY大师提到的一个小程序写了两个版本来比较性能,该程序的原始需求是这样的:对一个大文件进行倒序,也就是将一个文件头变成尾,尾变成头. ...
windows笔记-内存映射文件
Windows提供了3种进行内存管理的方法: • 虚拟内存,最适合用来管理大型对象或结构数组. • 内存映射文件,最适合用来管理大型数据流(通常来自文件)以及在单个计算机上运行的多个进程之间共享数据. ...
Windows核心编程第十七章 -内存映射文件（下）
17.3 使用内存映射文件若要使用内存映射文件,必须执行下列操作步骤: 1) 创建或打开一个文件内核对象,该对象用于标识磁盘上你想用作内存映射文件的文件. 2) 创建一个文件映射内核对象,告诉系统该 ...
Windows核心编程第十七章 -内存映射文件（上）
第1 7章内存映射文件对文件进行操作几乎是所有应用程序都必须进行的,并且这常常是人们争论的一个问题.应用程序究竟是应该打开文件,读取文件并关闭文件,还是打开文件,然后使用一种缓冲算法,从文件的各个 ...
Java基础：JavaNIO 之内存映射文件原理
1. 前言最近研究Java中内存映射I/O.Java类库中的NIO中的内存映射文件MappedByteBuffer,相对于Java I/O是一个新的功能.特把适合用于处理大文件,在对大文件处理的时候 ...
《windows核心编程》 17章内存映射文件
内存映射文件主要用于以下三种情况: 系统使用内存映射文件载入并运行exe和dll,这大量节省了页交换文件的空间以及应用程序的启动时间开发人员可以使用内存映射文件来访问磁盘上的数据文件.这使得我们可以 ...
内存映射文件——Windows核心编程学习手札之十七
内存映射文件 --Windows核心编程学习手札之十七与虚拟内存一样,内存映射文件保留地址空间,并将物理存储器提交给该区域,差别在于所提交的物理存储器是磁盘上有文件存在的空间,而非系统的页文件,一旦 ...
C#内存映射文件学习总结
C#内存映射文件学习 http://www.cnblogs.com/flyant/p/4443187.html 内存映射文件是由一个文件到进程地址空间的映射. C#提供了允许应用程序把文件映射到一个进 ...

matlab内存映射文件操作

matlab内存映射文件操作相关推荐

最新文章

热门文章