【Python】unicode编码和bytes编码不能混用

报错：出现’ascii’ codec can’t decode byte 0xef in position 0:ordinal not in range(128)的错误。

1、unicode和utf-8的区别。

unicode指的是万国码，是一种“字码表”。而utf-8是这种字码表储存的编码方法。unicode不一定要由utf-8这种方式编成bytecode储存，也可以使用utf-16,utf-7等其他方式。目前大多都以utf-8的方式来变成bytecode。

2、Python中字符串类型分为byte string 和 unicode string两种。

如果在python文件中指定编码方式为utf-8(#coding=utf-8)，那么所有带中文的字符串都会被认为是utf-8编码的byte string（例如：mystr=”你好”），但是在函数中所产生的字符串则被认为是unicode string。

问题就出在这边，unicode string 和 byte string 是不可以混合使用的，一旦混合使用了，就会产生这样的错误。例如：

self.response.out.write(“你好”+self.request.get(“argu”))

其中，”你好”被认为是byte string，而self.request.get(“argu”)的返回值被认为是unicode string。由于预设的解码器是ascii，所以就不能识别中文byte string。然后就报错了。

以下有两个解决方法：

1.将字符串全都转成bytestring。

self.response.out.write("你好"+self.request.get("argu").encode("utf-8"))

2.将字符串全都转成unicodestring。

self.response.out.write(u"你好"+self.request.get("argu"))

byte string转换成unicodestring可以这样转unicode(unicodestring,"utf-8")

3、出现报错后，将byte string转化为Unicode string的方法

apply_content = unicode(dict[‘apply_content’], ‘utf-8’)

直接将str变成unicode

另外可以用type(string)检查字符串的类型是Unicode还是str类型

链接：https://www.jianshu.com/p/8e5bf2bf9dfb

【Python】unicode编码和bytes编码不能混用相关推荐

python unicode 标点范围_Unicode 编码范围
文字部分 ( U+0000 – U+007F) 基本拉丁字符 ( U+0080 – U+00FF) 增补拉丁字符集 1 ( U+0100 – U+017F) 拉丁字符扩展集 A ( U+0180 – ...
python unicode编码转换中文_python unicode转中文及转换默认编码
一. 在爬虫抓取网页信息时常需要将类似"\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8"转换为中文,实际上这是unicode的中文编码.可 ...
python unicode编码书写方式_python 中文编码小结，json读写，str转换unicode，文字比较...
最近用python做不少整理数据的工作,其中就包含不少关于中文处理的,所以总总结一下方便以后使用 1:json含汉字的utf编码读写 Python f2 = codecs.open('country_ ...
python跟unicode一样吗_PYTHON编码处理-str与Unicode的区别
一篇关于STR和UNICODE的好文章整理下python编码相关的内容注意: 以下讨论为Python2.x版本, Py3k的待尝试开始用python处理中文时,读取文件或消息,http参数等等 ...
python unicode编码转换中文_Python入门高级教程--Python 中文编码
Python 中文编码前面章节中我们已经学会了如何用 Python 输出 "Hello, World!",英文没有问题,但是如果你输出中文字符 "你好,世界" ...
Python 入门 26 —— ASCII 编码、Unicode 编码、 UTF-32、 UTF-16、 UTF-8、 GB2312 编码、 GBK 编码
计算机存储和处理信息都是以一个8位的二进制字节为单位的,例如:0b 1111 0000.一个字母.汉字等如何用一个二进制的数(编码)来表示呢.在计算机发展初期,因为没有人能预料到计算机会有现在这么大的 ...
Python中Unicode字符串（字符串编码问题）
Python中Unicode字符串(字符串编码问题) 因为计算机只能处理数字,如果要处理文本,就必须先把文本转换为数字才能处理.最早的计算机在设计时采用8个比特(bit)作为一个字节(byte),所以 ...
Unicode(UTF-8, UTF-16)令人混淆的概念　和　python unicode转中文及转换默认编码
Unicode(UTF-8, UTF-16)令人混淆的概念 [转载](https://www.cnblogs.com/fnlingnzb-learner/p/6163205.html) 为啥需要Uni ...
Python知识点-py2和py3编码
编码大小支持语言 ASCII 1个字节英文 Unicode 2个字节(生僻字4个) 所有语言 UTF-8 1-6个字节,英文字母1个字节,汉字3个字节,生僻字4-6个字节所有语言 py2编码: ...

【Python】unicode编码和bytes编码不能混用

【Python】unicode编码和bytes编码不能混用相关推荐

最新文章

热门文章