python 编码gbk_python 处理中文文件时的编码问题，尤其是utf-8和gbk

python代码文件的编码

py文件默认是ASCII编码，中文在显示时会做一个ASCII到系统默认编码的转换，这时就会出错：SyntaxError: Non-ASCII character。需要在代码文件的第一行或第二行添加编码指示：

# coding=utf-8 ##以utf-8编码储存中文字符

print '中文'像上面那样直接输入的字符串是按照代码文件的编码来处理的，如果用unicode编码，有以下2种方式：

s1 = u'中文' #u表示用unicode编码方式储存信息

s2 = unicode('中文','gbk')

unicode是一个内置函数，第二个参数指示源字符串的编码格式。

decode是任何字符串具有的方法，将字符串转换成unicode格式，参数指示源字符串的编码格式。

encode也是任何字符串具有的方法，将字符串转换成参数指定的格式。

python字符串的编码

用 u'汉字' 构造出来的是unicode类型，不用的话构造出来是str类型

str的编码是与系统环境相关的，一般就是sys.getfilesystemencoding()得到的值

所以从unicode转str，要用encode方法

从str转unicode，所以要用decode

例如：

# coding=utf-8 #默认编码格式为utf-8s =u'中文'#unicode编码的文字prints.encode('utf-8')#转换成utf-8格式输出 prints #效果与上面相同，似乎默认直接转换为指定编码

我的总结：

u=u'unicode编码文字'g=u.encode('gbk')#转换为gbk格式printg #此时为乱码，因为当前环境为utf-8,gbk编码文字为乱码str=g.decode('gbk').encode('utf-8')#以gbk编码格式读取g(因为他就是gbk编码的)并转换为utf-8格式输出printstr #正常显示中文

安全的方法：

s.decode('gbk','ignore').encode('utf-8′) #以gbk编码读取(当然是读取gbk编码格式的文字了)并忽略错误的编码，转换成utf-8编码输出

因为decode的函数原型是decode([encoding], [errors='strict'])，可以用第二个参数控制错误处理的策略，默认的参数就是strict，代表遇到非法字符时抛出异常；

如果设置为ignore，则会忽略非法字符；

如果设置为replace，则会用?取代非法字符；

如果设置为xmlcharrefreplace，则使用XML的字符引用。

python 编码gbk_python 处理中文文件时的编码问题，尤其是utf-8和gbk相关推荐

python能打开的txt文件编码_Python读写txt文件时的编码问题
这个问题来自于一个小伙伴,他在处理中文数据时需要先把里面的文本过滤然后分词,因为里面有许多符号,不仅是中文标点符号,还有✳,emoji等奇怪的符号. 正常情况下,中文的str经过encode('utf ...
Python随笔：进行读写文件时，在字符串前加 r，u，b，f 的含义
Python随笔:进行读写文件时,在字符串前加 r,u,b,f 的含义文章目录 Python随笔:进行读写文件时,在字符串前加 r,u,b,f 的含义 1.r'xxx' 的含义 2.u'xxx' 的 ...
eclipse中新建JSP文件时的编码设置
eclipse中新建JSP文件时的编码设置: 1:window -->Preferences --> General -->Content Types -->Text 修改里里 ...
idea查看java文件编码_Intellij Idea编译项目下的.java文件时的编码问题
由<编译.java文件时的编码问题>可知,在编译.java文件的时候,需要正确指定一个编码方案,该编码方案用于解码.java文件的字节流. 那么在使用Intellij Idea编译(假定使 ...
python csv文件复制时的编码问题_使用python读取CSV文件时的编码问题
尝试使用python读取CSV文件时遇到障碍. 更新:如果只想跳过字符或错误,可以打开文件,如下所示: with open(os.path.join(directory, file), 'r', en ...
Python读写txt文件时的编码问题
转载自: https://www.cnblogs.com/baijing1/p/9885891.html (授权问题请直接私信) 这个问题来自于一个小伙伴,他在处理中文数据时需要先把里面的文本过滤然后 ...
Python全栈工程师（文件操作、编码）
ParisGabriel 每天坚持手写一天一篇决定坚持几年为了梦想为了信仰 Python人工智能从入门到精通最近简直要死了发烧感冒喉咙痛..... 如何长期保存计算机中数据: 需要 ...
Qt字符编码，创建中文文件
1.代码文件本身编码: 2.Qt中用于控制读入和写出文件系统时的字符编码由QTextCodec::setCodecForLocale()所决定.一般不用设置,Qt跟系统交互时会根据系统的Locale来 ...
php指定编码创建,MYSQL创建数据库时指定编码
mysql 创建数据库时指定编码很重要,很多开发者都使用了默认编码,但是我使用的经验来看,制定数据库的编码可以很大程度上避免倒入导出带来的乱码问题. 我们遵循的标准是,数据库,表,字段和页面或文本的 ...
python读取有中文文件时的报错处理
如果直接用open(file,'r')会报错 UnicodeDecodeError: 'gbk' codec can't decode byte 0xac in position 194: illeg ...

python 编码gbk_python 处理中文文件时的编码问题，尤其是utf-8和gbk

python 编码gbk_python 处理中文文件时的编码问题，尤其是utf-8和gbk相关推荐

最新文章

热门文章