c++ 利用内存映射读取大文件

由于用到的txt存放的数据有几十万行，用getline来读取文件非常慢，搜索了一下可以来优化读取文件的方法。

据说用内存映射读取文件速度快，试了一下，但是发现要分行处理数据时，速度还是挺慢的。

有关内存映射的介绍，参考别人博客。

http://blog.csdn.net/wcyoot/article/details/7363393

/
///创建镜像文件来读取文件，提高速度
///
void useMapFileReadText(){
HANDLE hFile = NULL, hFileMap = NULL;
char * lpbMapAddress = NULL;
int nFileSize = 0, nLeftSize = 0;
if(hFile == NULL)
{
hFile = CreateFile("data.txt", GENERIC_READ, 0, NULL,
OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL, NULL);
if(hFile == INVALID_HANDLE_VALUE)
{
printf("打开文件失败");
}
}
if(hFileMap == NULL)
{
hFileMap=CreateFileMapping(hFile, NULL, PAGE_READONLY, 0, 0, NULL);
if(hFileMap==NULL)
{
OutputDebugString("文件镜像句柄创建失败！");
CloseHandle(hFile);
}
}
if(lpbMapAddress == NULL)
{
lpbMapAddress = (char *)MapViewOfFile(hFileMap, FILE_MAP_READ, 0, 0, 0);
if(lpbMapAddress == NULL)
{
OutputDebugString("内存映射文件失败！");
CloseHandle(hFileMap);
CloseHandle(hFile);
}
}
const char* buf = lpbMapAddress;
const char* start = lpbMapAddress;
int len;
while(start != NULL){
start = _get_line(buf, &len);
string str(buf,len);
//do something with str
buf = start;
}
//释放
UnmapViewOfFile(hFile);
CloseHandle(hFileMap);
}

其中的，_get_line 函数

'\n' 在windows中为0x0d 0x0a 占两个字符，在linux系统中为0x0a占一个字符。

//buf：从当前地址开始搜索。
//len: 存放该行的字符串长度，不包含回车换行符。
//返回值：下一次搜索开始的地址.如果到达文件尾，则返回NULL
const char* _get_line(const char* buf, int* len)
{
const char* tmp = buf;
while(*tmp && (*tmp != 0x0d && *tmp != 0x0a && *tmp != '\n')) ++tmp;
//while(*tmp && (*tmp != 0x0d || *tmp != 0x0a )) ++tmp;
*len = tmp - buf; //
if (*tmp == 0) return NULL;
// skip New-Line char
if (*tmp == 0x0d){ // Windows style New-Line 0x0d 0x0a
tmp += 2;
//assert(*tmp == 0x0a);
}//else Unix style New-Line 0x0a
else{
++tmp;
}
return tmp;
}

用十三万多行来测试，这样按行来处理时，不如getiline速度快。

内存映射的优势还是在于大文件。

fstream.open() 时，由于文件太大，IO一次读不了所有的数据，需要多次IO操作。

而内存映射，并不是将文件加载到内存。内存映射首先申请一段地址空间，并映射到物理存储器，而这里的物理存储器就是文件所在的磁盘，类似虚拟内存（pagefile）；
当有需要时，程序不需要先把它加到内存，而是直接从磁盘读取。这样就减少了IO操作。

内存映射的一个优势还在于多个进程之间共享数据。

c++ 利用内存映射读取大文件相关推荐

分块内存映射处理大文件-例子
参考 :http://user.qzone.qq.com/382164370/infocenter#!app=2&via=QZ.HashRefresh&pos=1363445766 内 ...
java 提交的内存_Java使用内存映射实现大文件的上传
在处理大文件时,如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 来进行频繁的读写操作,都将导致进程因频繁读写外存而降低速度.如 ...
内存映射处理大文件[转载]
首先通过GetFileSize()得到被处理文件长度(64位)的高32位和低32位值.然后在映射过程中设定每次映射的块大小为1000倍的分配粒度(系统的数据分块大小),如果文件长度小于1000倍的分配 ...
Python读取大文件的坑“与内存占用检测
python读写文件的api都很简单,一不留神就容易踩"坑". 笔者记录一次踩坑历程,并且给了一些总结,希望到大家在使用python的过程之中,能够避免一些可能产生隐患的代码. r ...
python读取大文件的坑_Python读取大文件的坑“与内存占用检测
python读写文件的api都很简单,一不留神就容易踩"坑".笔者记录一次踩坑历程,并且给了一些总结,希望到大家在使用python的过程之中,能够避免一些可能产生隐患的代码. 1. ...
python读取视频占用内存太大_Python 读取大文件内存占用检测示例
导读热词对python这个高级语言感兴趣的小伙伴,下面一起跟随编程之家 jb51.cc的小编两巴掌来看看吧! python读写文件的api都很简单,一不留神就容易踩"坑".笔者记录 ...
Python读取大文件的坑与内存占用检测
Python读取大文件的"坑"与内存占用检测 1.read()与readlines() with open(file_path, 'rb') as f:sha1Obj.update ...
Java高效读取大文件
1.概述本教程将演示如何用Java高效地读取大文件.这篇文章是Baeldung(http://www.baeldung.com/) 上"Java--回归基础"系列教程的一部分. ...
Java高效读取大文件（转）
Java高效读取大文件 1.概述本教程将演示如何用Java高效地读取大文件.这篇文章是Baeldung(http://www.baeldung.com/) 上"Java--回归基础&quo ...

c++ 利用内存映射读取大文件

c++ 利用内存映射读取大文件相关推荐

最新文章

热门文章