Python爬虫_乱码、转码

文章目录

乱码问题描述
利用encode和decode解决乱码问题
转码--bytes与str之间的互转

乱码问题描述

在爬取网页时，出现中文乱码情况，如下图：

原因：源网页编码和爬取下来后的编码格式不一致

利用encode和decode解决乱码问题

字符串在python内部的表示是Unicode编码，在做编码转换时，通常需要以Unicode作为中间编码，即先将其他编码的字符串解码（decode）成Unicode，再从Unicode编码（encode）成另一种编码

decode的作用是将其他编码的字符串转换成Unicode编码，如str1.decode(“gb2312”)，表示将gb2312编码的字符串str1转换成Unicode编码

encode的作用是将Unicode编码转换成其他编码的字符串，如str2.encode(“utf-8”)，表示将Unicode编码的字符串str2转换成utf-8编码

decode中写的是想爬取的源网页的编码，或者文本文件的编码，encode是自己想设置的编码

转码–bytes与str之间的互转

在bytes和str的互相转换过程中，实际就是编码解码的过程，必须显式地指定编码格式

str转bytes

h = "字符串str"
# h为字符串
print(type(h))  #<class 'str'># 字符串转换为bytes类型，方式一
bytes1 = h.encode("utf-8")
print(type(bytes1))  #<class 'bytes'>
print(bytes1)  #b'\xe5\xad\x97\xe7\xac\xa6\xe4\xb8\xb2str'# 字符串转换为bytes类型，方式二
bytes2 = bytes(h, encoding="utf-8")
print(type(bytes2))  #<class 'bytes'>
print(bytes2)  #b'\xe5\xad\x97\xe7\xac\xa6\xe4\xb8\xb2str'

bytes是一种比特流（字节流），它的存在形式是10010101101这种。我们无论是在写代码，还是阅读文章的过程中，肯定不会有人直接阅读这种比特流，它必须有一个编码方式，使得它变成有意义的比特流，而不是一堆晦涩难懂的01组合。

从上面例子可以看出，h是个字符串类型。Python有个内置函数bytes()可以将字符串str类型转换成bytes类型，bytes1实际上是一串01的组合，但为了在ide环境中让我们相对直观的观察，它被表现成了b’\xe5\xad\x97\xe7\xac\xa6\xe4\xb8\xb2str’这种形式，开头的b表示这是一个bytes类型。\xe5是十六进制的表示方式，它占用1个字节的长度，因此==“字符串str”被编码成utf-8后，我们可以数得出一共用了12个字节，每个汉字占用3个，英文字母用1个==。在使用内置函数bytes()的时候，必须明确encoding的参数，不可省略。

字符串类str里有一个encode()方法，它是从字符串向字节流的编码过程。而bytes类型恰好有个decode()方法，它是从字节流向字符串解码的过程

bytes转str

H = b'\xe5\xad\x97\xe7\xac\xa6\xe4\xb8\xb2str'
# H为bytes
print(type(H))  #<class 'bytes'># bytes装换为字符串，方式一
string2 = H.decode("utf-8") #默认参数为utf-8
print(type(string2))  #<class 'str'>
print(string2)  #字符串str# bytes转换为字符串，方式二
string1 = str(H, "utf-8")
print(type(string1))  #<class 'str'>
print(string1)  #字符串str