Python报错UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte

Python报错UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte，这个错误是做NLP的小伙伴常见的一个错误，报错原因是读取的文件中有中文。
核心思路：
将 with open(file) as f: 改成with open(file, ‘r’, encoding=‘utf-8’) as f:
例如：

def load_data(filename):D = []with open(filename,'r', encoding='utf-8') as f:for i, l in enumerate(f):l = json.loads(l)text, label = l['sentence'], l['label']D.append((text, labels.index(label)))return D

即将原始的

    with open(filename) as f:

修改为

    with open(filename,'r', encoding='utf-8') as f:

即可解决以上问题。

还有一种情况：不加encoding默认编码方式采用utf-8 ，因为cvs文件的表头带中文汉字，所以报错。汉字采用的编码方式是gb2312 ,一般都是表头带汉字引起的，更改为如下代码即可。

data = pd.read_csv(filename,encoding = 'gb2312')

Python报错UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte相关推荐

解决Python报错UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 658: illegal multibyte
解决Python报错–UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 658: illegal multibyte ...
Python报错UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0x80 in position 10
Python报错(字节编码gbk) UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 10: illegal mul ...
python报错UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0x97 in position的解决方法
在编写代码时,调用python解释器中的模块时出现 UnicodeDecodeError: 'gbk' codec can't decode byte 0x97 in position 20: ill ...
python报错UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte，文本乱码解决方法
原因分析: 读取文件时报错Unicode编码错误,一般这种情况较多是在国标码(GBK)和utf8之间选择出现了问题.这个异常报错是由于设置了参数errors默认为严格(strict)造成的,将其更改为 ...
Python报错:UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0x8c in position 20: illegal multibyte...
非法的多字节序列,转换的时候发生错误. 如果你在直接读取txt文件: 代码是open(f,"r") f=r"H:\python_project\a.txt" f ...
import configparser config.read(config_path) 报错 UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0x
import configparser config.read(config_path) 报错 UnicodeDecodeError: 'gbk' codec can't decode byte 0x ...
python报错UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe8 in position 0 解决方案
python报错UnicodeDecodeError: 'ascii' codec can't decode byte 0xe8 in position 0 解决方案参考文章: (1)python报 ...
解决Python打开文件报错UnicodeDecodeError: 'gbk' codec can't decode byte
用Python打开文件时报错: UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 10: illegal multi ...
GBK解码报错-UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0xa1 in position 98: illegal multibyte seq
文章目录背景原因分析解决办法办法一方法二总结背景在PyCharm中,创建一个带有中文的html文件,进行读取的时候出现如下报错: UnicodeDecodeError: 'gbk' c ...

Python报错UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte

Python报错UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte相关推荐

最新文章

热门文章