python读入中文文本编码错误
python读入中文文本编码错误
python读入中文txt文本:
#coding:utf-8def readFile():fp = open('emotion_dict//neg//neg_all_dict.txt','r')list = []for line in fp:list.append(line)fp.close()print(list)
readFile()
但是有时候会出现错误提示:
UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 10: illegal multibyte sequence
此时,需要对代码做一个小的调整,就可以读入中文,即以中文二进制'rb'读入txt,然后转换为'utf-8',具体代码如下:
#coding:utf-8def readFile():fp = open('emotion_dict//neg//neg_all_dict.txt','rb')list = []for line in fp.readlines():line = line.strip()line = line.decode('utf-8')list.append(line)fp.close()print(list)
readFile()
python读入中文文本编码错误相关推荐
- python exe运行报 编码错误_python运行显示编码错误
python中运行显示编码错误一般有2种原因: 编码与译码的方式不一致 在编写Python时,当使用中文输出或注释时运行脚本,会提示错误信息: SyntaxError: Non-ASCII chara ...
- Python处理中文文本
Python处理中文文本 author:Ernest 使用Python处理文本是件十分有趣的任务,通过某些操作,你可以自由地获取到你所需要的内容,下面就来看看怎么做吧. 要求 1.选择一部长度合适的小 ...
- 如何使用python处理中文文本--近几个月的新闻数据分析社会热点并创造词云图
使用python处理中文文本并创造词云图 1.前言 利用爬虫爬取网上新闻,评论,并从中分析最近社会热点,是数据科学,人工智能中的热点之一,其中在分析文本中使用词云图,看起来简洁明了,因为如下图出现频率 ...
- 基于Python实现中文文本关键词抽取的三种方法 课程报告+项目源码及数据
资源下载地址:https://download.csdn.net/download/sheziqiong/85737856 资源下载地址:https://download.csdn.net/downl ...
- python生成exe,pyinstaller编码错误或闪退,果断换坑cxfreeze!
pyinstaller的大坑 最近需要将一个python的Gui程序打包为exe 按照网上博客的建议--"py2exe很久没有更新,完全不能使用,应该换用pyinstaller", ...
- Python 任意中文文本生成词云 最终版本
前叙 利用下面的代码你将可以将任意中文文本生成词云,其分词部分由jieba,NLPIR2016两个部分组成,生成词语由worldcloud负责,默认会自动发现文本中的20个新词并添加到词库中,当然你也 ...
- 关于Django中JsonResponse返回中文字典编码错误的解决方案
遇到这样一个问题,返回的json不是中文 def get_json(request):return JsonResponse({"res": "成功"}) 结果 ...
- 使用python对中文文本进行分词
何为中文分词,指的是将一个汉字序列切分成一个个单独的词. 这里我们推荐使用jieba分词,它是专门使用python语言开发的分词系统,占用资源较少,常识类文档的分词精度较高. 我们可以去网上下载jie ...
- [原创]python计算中文文本相似度神器
介绍 最近因为工作需要,需要使用一个功能,就是中文文本相似度的计算.属于nlp领域的一个应用吧,这里找到一个非常好的包和大家分享.这个包叫sentence-transformers. 这里给大家介绍, ...
最新文章
- 关于php抓取页面信息的简单代码
- fiddler自动保存mysql_Fiddler模拟自动响应数据
- myeclipse 没有任何问题,可偏偏还报这错。
- 蒙特利尔问题(三门问题)的解释
- JAVA语言程序设计
- 客户跟进中的一些小技巧
- java程序员中英文简历_2017java程序员英文简历范文
- Win7更换锁屏和开机画面
- charing animation
- 使用prometheus监控服务器主机
- 上面两点下面一个三角形_解三角形的新视野——定角对定边~
- 红帽认证工程师(RHCE)的发展前景
- ROS系统MoveIt玩转双臂机器人系列(一)--ROS机器人建模
- 一把 LOL 案例,学会模板设计模式!
- 策略模式和工厂模式的区别
- c++ grpc compress(deflate算法) demo编译
- 双向长短期记忆网络(BiLSTM)详解
- current root password的解决方案
- IAR下连仿真器可以正常运行,程序下载到flash部分功能异常
- 会计学原理学习笔记——第三章——账户与复式记账(3.2资金筹集业务的核算——借入资本的核算)
热门文章
- 通过getPixel();和通过bmp.getPixels();方法遍历整张图片的效率比较。
- latex大括号 多行公式_如何快速入门 LaTeX,在 XMind 2020 中轻松输入方程。
- 教你文本聚类(参考http://www.kuqin.com/searchengine/20080511/8323.html)
- vue端口号被占用报错npm ERR! @1.0.0 dev: `node build/dev-server.js`
- CentOS7和CentOS8 FreeSWITCH 1.10.7 简单图形化界面18--内网的讯时FXO网关SIP对接到内网的FreeSWITCH
- 【android】项目案例(一)之超级课程表
- android sdk所有版本下载,android sdk全平台版本集成
- 抖音趣味测试、心理测试类短视频素材哪里找?文案怎么写?技巧大汇总
- 以“文博珠宝管理系统”为例,分析信息管理系统在物流分销中的应用
- PVE下的黑群晖的其他后续设置