读取文本出现锘 * 系列乱码错误（UTF-8 BOM问题）的原因及解决方法

现象

读取文本时经常会出现锘*系列错误。
例1：锘縣，其实开头的文本是h，http被显示为锘縣ttp
例2：锘缝，其实开头的文本是p，public被显示为锘缝ulic
只要文本的首字母为锘的都属于这类错误，在Python、Java、PHP等等使用过程中都会遇到，这类错误与语言无关，错误的原因是UTF-8的BOM。

原因

BOM即Byte Order Mark，是UTF-8文档的Unicode签名，即EF BB BF这三个字节，当把文件编码选为UTF-8时，系统会自动在文件头部添加上EF BB BF这三个字节，而选为UTF-8 NO BOM时会自动去掉这三个字节。
BOM是可选的，可以用来检测一个字节流是否是UTF-8编码的。微软做这种检测，但有些软件不做这种检测，而把它当作正常字符处理。
微软在自己的UTF-8格式的文本文件之前加上了EF BB BF三个字节， windows上面的notepad等程序就是根据这三个字节来确定一个文本文件是ASCII的还是UTF-8的，然而这个只是微软暗自作的标记，其它平台上并没有对UTF-8文本文件做个这样的标记。

解决办法

尽量使用notepad++，sublime，editplus等不直接加BOM的文本编辑器
使用ultraedit等二进制编辑器去除BOM
使用1中的编辑器重新打开文档并重新保存为以UTF-8无BOM格式编码。
将编码设置为ASCII，当然这也很多中文就麻烦了
用Python去除BOM

import codecsdata = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:data = data[3:]
print data.decode("utf-8")

读取文本出现锘 * 系列乱码错误（UTF-8 BOM问题）的原因及解决方法相关推荐

宽带连接错误提示678和691的原因，解决方法
宽带连接错误提示678,为什么? 我的电脑宽带连接不上,错误提示678,有时还是能连上的,但机会很少得几乎和中五百万一样,重启电脑和猫还是没法解决.电信的人来看了不下五次还是没有解决.网卡,猫,线路都 ...
Java读取UTF-8格式txt文件第一行出现乱码及解决;Java读带有BOM的UTF-8文件乱码原因及解决方法（转载）...
原文地址:http://blog.csdn.net/jackpk/article/details/5702964/ Java读取UTF-8的txt文件第一行出现乱码"?"及解决 t ...
Java读带有BOM的UTF-8文件乱码原因及解决方法(转)
转载:http://www.linuxidc.com/Linux/2012-12/76707.htm 最近在处理文件时发现了同样类型的文件使用的编码可能是不同的.所以想将文件的格式统一一下(因为UTF ...
Java读带有BOM的UTF-8文件乱码原因及解决方法
Java读带有BOM的UTF-8文件乱码原因及解决方法 Java读带有BOM的UTF-8文件乱码原因及解决方法 - daimojingdeyu - ITeye技术网站 Java读带有BOM的UTF-8 ...
android u盘盘符乱码,分享U盘中文件出现乱码的原因以及解决方法
当使用U盘时发现U盘文件成了乱码,就算将U盘拔插了几次也无法恢复,这是怎么回事呢?U盘文件出现乱码又应该如何解决呢?接下来就为大家分享U盘中文件出现乱码的原因以及解决方法. u盘出现乱码的原因: 1. ...
（转）SQL Server数据库复制错误的原因及解决方法
在使用SQL Server数据库中,有时在复制时会出现错误,下面就为你分类介绍SQL Server数据库复制错误的原因及解决方法,希望对您学习SQL Server数据库有所帮助. 错误消息 MSSQ ...
Mac 错误提示：zsh: command not found: brew解决方法
Mac 错误提示:zsh: command not found: brew解决方法@TOC 欢迎使用Markdown编辑器 Mac平台出现brew command not found问题解决方法错误 ...
go mysql 错误_mysql安装失败原因和解决方法
mysql数据库安装不了了!mysql最后一步安装不上!mysql就是安装不上!是不是很头疼,很伤脑筋,现在大家不用着急了,小编为大家整理了mysql安装失败的原因以及mysql安装失败的解决方法,抓 ...
投稿时html公式错误,Excel中出现公式常见显示错误原因与解决方法
Excel2007的公式如果写错,就会在单元格中显示各种各样的错误信息.看到这些奇怪的错误代码,有的朋友可能会手忙脚乱,甚至感到烦躁.今天,学习啦小编就教大家在Excel中出现公式常见显示错误原因与解 ...

读取文本出现锘 * 系列乱码错误（UTF-8 BOM问题）的原因及解决方法

现象

原因

解决办法

读取文本出现锘 * 系列乱码错误（UTF-8 BOM问题）的原因及解决方法相关推荐

最新文章

热门文章

读取文本出现 锘 * 系列乱码错误（UTF-8 BOM问题）的原因及解决方法

现象

原因

解决办法

读取文本出现 锘 * 系列乱码错误（UTF-8 BOM问题）的原因及解决方法相关推荐

最新文章

热门文章

读取文本出现锘 * 系列乱码错误（UTF-8 BOM问题）的原因及解决方法

读取文本出现锘 * 系列乱码错误（UTF-8 BOM问题）的原因及解决方法相关推荐