解决读取文件乱码问题

==> 学习汇总（持续更新）
==> 从零搭建后端基础设施系列（一）-- 背景介绍

一般在windows上的txt文本文件要么以ANSI编码要么以Unicode编码，而用C ,C++，MFC编写的程序一般人只会处理一种编码格式的文本，因为不懂怎么判断读取的文件是以哪种编码格式存储的。那么重点就是判断读取的文件是以哪种方式存储的！有两种方式解决。

一.用二进制方式打开文件，前两个字节为FFFE就是Unicode文件,ANSI则无格式定义.
如图：
这是以16进制打开Unicode文件，很明显看到前两个字节是FFFE

再来，用C语言读取文件，如图：
把buf的地址在内存中显示出来，其内容是FFFE两个字节

因为编译器是32位的，所以最后显示如图:

所以现在基本确定判断Unicode的方法了.
例如：

int main(void)
{if (IsUnicode("H:\\Unicode.txt"))printf("打开的是Unicode文件\n");elseprintf("打开的是ANSI文件\n");return 0;
}

IsUnicode函数实现如下：

bool IsUnicode(char* fileName)
{FILE* fp = fopen(fileName, "rb");if (!fp){printf("打开文件失败!\n");return 1;}char buf[2] = { 0 };fread(buf, 1, 2, fp);char byte1[10] = { 0 };char byte2[10] = { 0 };sprintf(byte1, "%X", buf[0]);sprintf(byte2, "%X", buf[1]);int iLen1 = strlen(byte1);int iLen2 = strlen(byte2);if (byte1[iLen1 - 2] == 'F'&&byte1[iLen1 - 1] == 'F'&&byte2[iLen2 - 2] == 'F'&&byte2[iLen2 - 1] == 'E')return true;elsereturn false;fclose(fp);
}

判断完之后就是用相应的方法进行读写了,这样一个程序就能实现两种文件的读写。有兴趣的还可以判断UFT-8的。

二.用ANSI方式读写，如果读到Unicode的，就会出现乱码，并且截断，我试了很多，发现不管多大文件，都出来的长度都是10以下，所以根据这个性质，可以判断读出来的是哪种方式编码.但是记住，不能用Unicode方式读写来判断，因为它读出来的虽然是乱码，但是长度却是不确定的.

这里我用文件映射的方法读取，这个比较方便转换编码方式.直接上代码吧，也没有什么可以说的了。如果不懂文件映射的，可以看看前面的文章.

/*
@function    ReadFileOfMapping 以内存映射的方式读取文件
@param       strFileName       要读取的文件名称
@param       strContent        存放读取出来的内容
@return      TRUE OR FALSE     成功返回TRUE，失败返回FALSE
*/BOOL ReadFileOfMapping(_In_ const CString strFileName,_Out_ CString& strContent)
{BOOL bRet = FALSE;CStringA strA;do{//创建文件对象HANDLE hFile = ::CreateFile(strFileName, GENERIC_READ, FILE_SHARE_READ, 0,OPEN_EXISTING, FILE_FLAG_SEQUENTIAL_SCAN, 0);if (hFile == INVALID_HANDLE_VALUE){AfxMessageBox(TEXT("Open file faile!"));break;}//创建文件映射对象HANDLE hFileMapping = ::CreateFileMapping(hFile, 0, PAGE_READONLY, 0, 0, nullptr);if (!hFileMapping){AfxMessageBox(TEXT("Mapping faile!"));break;}//将文件的数据映射到进程的地址空间void* basepointer = ::MapViewOfFile(hFileMapping, FILE_MAP_READ, 0, 0, 0);if (!basepointer){AfxMessageBox(TEXT("View faile!"));CloseHandle(hFile);CloseHandle(hFileMapping);break;}//将进程空间的数据读到编辑框中strA = (char*)basepointer;strContent = strA;if (strContent.GetLength() < 10)    //如果是Unicode则把它转换为LPTSTRstrContent = (LPTSTR)basepointer;//从进程的地址空间撤销对文件数据的映射UnmapViewOfFile(basepointer);//关闭文件映射对象CloseHandle(hFileMapping);//关闭文件对象CloseHandle(hFile);} while (FALSE);return bRet;
}

这个函数自我觉得封装得还不错，可以直接用于各种场合.这个函数有两个版本其实，一个是MFC的CString版本和C++的string版本.

还有一个需要注意的问题就是，因为Unicode多了两个字节的标记，所以Unicode比ANSI多一个字(Unicode是双字节编码)，就是文本头，有兴趣的可以去试试.

解决读取文件乱码问题相关推荐

Go语言解决读取文件乱码
1.当文件中存在中文字符时,读取文件出现乱码,解决方法: 使用"github.com/axgle/mahonia"第三方包解译码. package function import ...
fopen php 乱码,如何解决php fgets读取文件乱码的问题
如何解决php fgets读取文件乱码的问题,文件,乱码,简体中文,记事本,页面如何解决php fgets读取文件乱码的问题易采站长站,站长之家为您整理了如何解决php fgets读取文件乱码的问 ...
解决fileReader读取文件乱码
解决fileReader读取文件乱码 idea默认编码格式是utf-8(标准万国码的一种),而Windows操作系统默认是GBK(中文码表),如果fileReader读取系统中的文件,则无法将字节转换 ...
php加载的文件都是乱码_怎么解决php读取文件乱码问题
php读取文件乱码的解决办法:首先打开相应的代码文件:然后通过"iconv($encodType, "utf-8", $content); "方法解决中文乱码即 ...
解决Mac文件乱码问题
<一行shell解决Mac文件乱码问题> 使用Mac工作的小伙伴,经常面对一个问题就是,同事发来的一个文件是乱码的,尝试各种工具进行解码,如果文件少还好,文件多,几乎是崩溃的,所以本文 ...
Linux解决txt文件乱码问题
Linux解决txt文件乱码问题出现原因:将windows中的txt文件拖到了linux中,双击打开或是使用cat等命令打开时会出现乱码现象乱码原因:windows中字符串的编码格式为GBK,而L ...
解决IO流读取文件乱码问题
读取文件时,出现乱码,文件是txt格式,编码格式默认为ANSI格式,即GBK 于是转为utf-8 InputStreamReader reader = new InputStreamReader( n ...
Java笔记-解决读取文件时中文乱码问题（InputStreamReader设置编码）
Java一般读取文件时使用如下代码: InputStream inputStream = this.getClass().getClassLoader().getResourceAsStream(&q ...
python读取文件乱码问题
今天突然想做一个实时读取日志文件的程序,然后用Python爬虫直接爬取文件,用只读的方式打开避免对系统写入日志造成影响. 上代码: #! /usr/bin/env python # codin ...
使用FPT上传下载文件和解决中文名文件乱码问题
项目中从ftp服务器下载上传文件是一个经常用到的,下面是个人在用到的时候的一些学习记录. 为了方便,我在本地装了FileZilla Server,在本地搭建了一个ftp服务器. 先看一个简单的代码 i ...

解决读取文件乱码问题

解决读取文件乱码问题相关推荐

最新文章

热门文章