Python中的open和codecs.open

最近老被编码困扰，多次折腾之后，感觉python的编解码做得挺好的，只要了解下边的流程，一般都能解决

input文件(gbk, utf-8...) ----decode-----> unicode -------encode------> output文件(gbk, utf-8...)
很多文本挖掘的package是在unicode上边做事的，比如nltk. 所以开始读入文件后要decode为unicode格式，可以通过下边两步：

f=open('XXXXX', 'r')
content=f.read().decode('utf-8')

更好的方法是使用codecs.open读入时直接解码：

f=codecs.open(XXX, encoding='utf-8')
content=f.read()

转自: http://f.dataguru.cn/thread-237116-1-1.html

转载于:https://www.cnblogs.com/Akkuman/p/6959243.html

Python中的open和codecs.open相关推荐

python中codecs_Python:如何使用codecs模块将unicode数据保存成gbk格式
需求:使用codecs模块将utf-8的文件保存成gbk格式. 读取的时候,已经将编码设置成utf-8了.输出结果是unicode字符串. 但是在将unicode字符串写入文件并保存为gbk的时候,发 ...
python中codecs_python模块之codecs: 自然语言编码转换
python对多国语言的处理是支持的很好的,它可以处理现在任意编码的字符,这里深入的研究一下python对多种不同语言的处理. 有一点需要清楚的是,当python要做编码转换的时候,会借助于内部的编码 ...
python中codecs_Python3 中codecs进行文件的读取
简单的概念与说明编码(动词):按照某种规则(这个规则称为:编码(名词))将"文本"转换为"字节流".而在python 3中则表示:unicode变成str 解 ...
python中codecs模块_python自然语言编码转换模块codecs介绍
python对多国语言的处理是支持的很好的,它可以处理现在任意编码的字符,这里深入的研究一下python对多种不同语言的处理. 有一点需要清楚的是,当python要做编码转换的时候,会借助于内部的编码 ...
python中string的操作函数
在python有各种各样的string操作函数.在历史上string类在python中经历了一段轮回的历史.在最开始的时候,python有一个专门的string的module,要使用string的方法 ...
python中的中文乱码问题深入分析
网址 :http://www.jb51.net/article/26543.htm 在本文中,以'哈'来解释作示例解释所有的问题,"哈"的各种编码如下: 1. UNICODE (U ...
python创建csv文件并写入-【已解决】Python中创建和保存数据到csv文件中
此处希望在python中,将A和B的QA对话,中错误的对话,保存到csv中. 打算自己先创建一个csv文件,然后后续每个对话出错的话,就append追加写入到csv中. 其中希望用逗号分隔.而句子中如 ...
python与php8-详解Python中Unicode和utf-8
在Python语言中,Uincode字符串处理一直是一个容易让人迷惑的问题.许多Python爱好者经常因为搞不清Unicode.UTF-8还有其它许许多多的编码之间的区别而大伤脑筋.本文将介绍Unic ...
Python中常用字符串函数-转
转自http://blog.csdn.net/jiangnanandi/archive/2008/10/09/3041964.aspx 在python有各种各样的string操作函数.在历史上stri ...

Python中的open和codecs.open

Python中的open和codecs.open相关推荐

最新文章

热门文章