Python scrapy爬取京东百度百科出现乱码解决方案

十分想念顺店杂可。。。

抓取百度百科，出现乱码

把页面源码下载下来之后，发现全是乱码，浏览器打开

但是浏览器链接打开就没有乱码

以下是浏览器里面的源码

到这一步说明我们下载网页源码，保存的时候出了问题找了好久，才知道是编码问题，以下为解决方案

# -*- coding: utf-8 -*-
# @Time    : 2019/5/13 15:49
# @Author  : 甄超锋
# @Email   : 4535@sohu.com
# @File    : asd.py
# @Software: PyCharm
import requestsurl = "https://baike.baidu.com/item/%E6%9D%8E%E5%B9%BC%E6%96%8C/7850567#1"headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0","Host": "baike.baidu.com","Connection": "keep-alive",
}response = requests.get(url=url, headers=headers)
text_iso_by = bytes(response.text, encoding="ISO-8859-1")
text_iso = text_iso_by.decode("utf-8")
with open("1.html", "w", encoding="utf-8") as f:f.write(text_iso)

运行后用浏览器打开 1.html 文件，结果如下：

至此乱码解决，喜欢请收藏，谢谢

pythonQQ交流群：785239887

转载于:https://www.cnblogs.com/zhenchoafeng/p/10863725.html

Python scrapy爬取京东，百度百科出现乱码，解决方案相关推荐

python基于scrapy爬取京东笔记本电脑数据并进行简单处理和分析
这篇文章主要介绍了python基于scrapy爬取京东笔记本电脑数据并进行简单处理和分析的实例,帮助大家更好的理解和学习使用python.感兴趣的朋友可以了解下一.环境准备 python3.8.3 ...
python爬取京东手机数据_用scrapy爬取京东的数据
本文目的是使用scrapy爬取京东上所有的手机数据,并将数据保存到MongoDB中. 一.项目介绍主要目标 1.使用scrapy爬取京东上所有的手机数据 2.将爬取的数据存储到MongoDB 环境 ...
Python+scrapy爬取36氪网
Python+Scrapy爬取36氪网新闻一.准备工作: ①安装python3 ②安装scrapy ③安装docker,用来运行splash,splash是用来提供js渲染服务(pyth ...
利用scrapy爬取京东移动端的图片素材和商品信息
有一个练习项目需要一些带分类信息的商品测试图片,从现有的电商网站爬取是个不错的选择.刚好最近又在练习scrapy的使用,这一篇记录一下用scrapy爬取京东的图片素材并保存商品信息的思路. 文中代码共 ...
python爬虫爬取京东商品评价_网络爬虫-爬取京东商品评价数据
前段时间做商品评价的语义分析,需要大量的电商数据,于是乎就自己动手爬取京东的数据.第一次接触爬虫是使用selenium爬取CNKI的摘要,基于惯性思维的我仍然想用selenium+Firefox的方法 ...
使用scrapy爬取京东的手机数据
使用scrapy爬取京东的数据本文目的是使用scrapy爬取京东上所有的手机数据,并将数据保存到MongoDB中一.项目介绍主要目标使用scrapy爬取京东上所有的手机数据将爬取的数据存储 ...
scrapy爬取京东商品评论并保存至Mysql数据库中
scrapy爬取京东商品评论并保存至Mysql数据库一.总体概述二.实践过程 2.1网页解析 2.2使用单线程爬取代码如下: 2.3使用scrapy爬取数据 2.4绘制词云图结果: 三.总结一. ...
python爬虫爬取糗事百科
最近研究python爬虫,按照网上资料实现了python爬虫爬取糗事百科,做个笔记. 分享几个学习python爬虫资料: 廖雪峰python教程主要讲解python的基础编程知识 python开发简 ...
scrapy爬取京东笔记本电脑数据并进行简单处理和分析
京东爬虫一.环境准备二.问题分析三.spider 三.item 四.setting 五.pipelines 六.middlewares 七.使用jupyter进行简单的处理和分析一.环境准备 ...

Python scrapy爬取京东，百度百科出现乱码，解决方案

Python scrapy爬取京东百度百科出现乱码解决方案

十分想念顺店杂可。。。

抓取百度百科，出现乱码

把页面源码下载下来之后，发现全是乱码，浏览器打开

但是浏览器链接打开就没有乱码

以下是浏览器里面的源码

到这一步说明我们下载网页源码，保存的时候出了问题找了好久，才知道是编码问题，以下为解决方案

运行后用浏览器打开 1.html 文件，结果如下：

至此乱码解决，喜欢请收藏，谢谢

Python scrapy爬取京东，百度百科出现乱码，解决方案相关推荐

最新文章

热门文章

Python scrapy爬取京东，百度百科出现乱码，解决方案

Python scrapy爬取京东 百度百科出现乱码 解决方案

十分想念顺店杂可。。。

抓取百度百科，出现乱码

把页面源码下载下来之后，发现全是乱码，浏览器打开

但是浏览器链接打开就没有乱码

以下是浏览器里面的源码

到这一步说明我们下载网页源码，保存的时候出了问题找了好久，才知道是编码问题，以下为解决方案

运行后用浏览器打开 1.html 文件，结果如下：

至此乱码解决，喜欢请收藏，谢谢

Python scrapy爬取京东，百度百科出现乱码，解决方案相关推荐

最新文章

热门文章

Python scrapy爬取京东百度百科出现乱码解决方案