scrapy使用extract()输出unicode转为中文的方法

就是一个简单的小爬虫，因为爬的是小说网站的正文，一开始发现用extract_first()只能爬到正文的第一句话。但如果是用extract()又会print出一堆unicode，百度了好久，根据百度的方法主要有两种：

1、字符串unicode转换为中文

print str.decode("unicode-escape")

是有用的。但因为我获取的是选择器列表，所以需要遍历选择器列表，但当我遍历以后再爬一遍，又报错说ascii码不能用这个方法，于是就继续搜到了第二个方法。

2、在py头部导入sys

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

这样设置果然就好了

scrapy使用extract()输出unicode转为中文的方法相关推荐

Python爬虫：python2使用scrapy输出unicode乱码
无力吐槽的python2,对中文太不友好了,不过在早期项目中还是需要用到没办法,还是需要解决我编写scrapy爬虫的一般思路: 创建spider文件和类编写parse解析函数,抓取测试,将有用信 ...
【Java】Unicode转中文代码实现
Unicode编码转中文Java实现 Unicode转中文相关的内容在网上存在很多,本来也不打算重复制造轮子的,但是看了别人的代码,总感觉有点奇怪.比如搜到比较多的一段代码是这样写的: public ...
vs智能提示英文转为中文
使用 VS2015 时,在 4.0 下智能提示显示中文,在 4.5 下显示英文,英文转为中文的方法: 找到目录: C:\Program Files (x86)\Reference Assemblies ...
如何改变php的语言变中文,如何使php将unicode转换中文
如何使php将unicode转换中文发布时间:2020-07-15 15:34:34 来源:亿速云阅读:105 作者:Leah 如何使php将unicode转换中文?针对这个问题,这篇文章详细介绍 ...
php将unicode转换成中文乱码,php如何将unicode转换中文
php如何将unicode转换中文,中文,方法,转化成,文件,中文网 php如何将unicode转换中文易采站长站,站长之家为您整理了php如何将unicode转换中文的相关内容. php将unic ...
robotframework中文乱码---robotframework日志输出时出现中文以unicode编码方式
robotframework日志输出时出现中文以unicode编码方式解决方法: 1.找到目录:python安装目录下C:\python373\Lib\site-packages\robotide\ ...
微信小程序将unicode格式内容转为中文
在做一个信息采集的项目,用户点击右边按钮,上传身份证照片,后台把照片识别的身份证上面的个人信息,返回到接口里面,前端根据接口的数据进行展示其实,之前也用vant写了一个信息采集的移动端项目,上传身份 ...
将16进制表示的编码转为中文
将16进制表示的编码转为中文关于编码转中文,博主在工作中遇到一个奇葩的问题 16进制表示的编码,如\xe5\x93\x88,一般情况下直接把'\x'替换成'%',再使用decodeURICompon ...
java unicode to 中文_java 怎么把unicode转中文
用java如何把unicode码转成汉字?会有那么一天我和你躺在同一张大床上,醒来第一眼看见的就是你. 用java怎么把"\u4fdd"码转成汉字? 程序怎么写的?干柴遇烈火,那叫 ...

scrapy使用extract()输出unicode转为中文的方法

scrapy使用extract()输出unicode转为中文的方法相关推荐

最新文章

热门文章