Python爬虫第一课：了解爬虫与浏览器原理
Python爬虫第一课：了解爬虫与浏览器原理
于 2020-02-26 17:55:46 发布 1661 收藏 12
<article class="baidu_pl"><div id="article_content" class="article_content clearfix"><link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/ck_htmledit_views-6e43165c0a.css"><div id="content_views" class="markdown_views prism-atom-one-dark"><svg xmlns="http://www.w3.org/2000/svg" style="display: none;"><path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path></svg><h3><a name="t0"></a><a id="_0"></a>一、浏览器的工作原理</h3>
当我们要将网页的信息保存到本地时，通常是打开网页，然后通过复制网页的文本，接着粘贴到本地
从上图中，只有我们和浏览器。但是实际上还有一方，那就是「服务器」。
- Request
当我们在浏览器中输入一个网址，也叫做URL（Uniform Resource Locator），然后浏览器就会去存储放着这个网址资源文件的服务器获取这个网址的内容，这个过程就叫做「请求」(Request)。 - Response
当服务器收到了我们的「请求」之后，它会把对应的网站数据返回给浏览器，这个过程叫做「响应」(Response)。
所以当你用浏览器去浏览网页的时候，都是浏览器去向服务器请求数据，服务器返回数据给浏览器的这样一个过程。
当浏览器收到服务器返回的数据时，它会先「解析数据」，把数据变成人能看得懂的网页页面。
当我们浏览这个网页的时候，我们会「筛选数据」，找出我们需要的数据，比如说一篇文章、一份论文等。然后我们把这一篇文章，或者是一篇论文保存到本地，这就叫做「存储数据」。
二、爬虫的工作原理
当你要去某个网站批量下载文章，如果单纯的使用浏览器的话，那么你就得打开浏览器，输入网址，页面加载完成后，寻找对应文章，一个一个的去点下载按钮。
- 获取数据。爬虫会拿到我们要它去爬的网址，像服务器发出请求，获得服务器返回的数据。
- 解析数据。爬虫会将服务器返回的数据转换成人能看懂的样式。
- 筛选数据。爬虫会从返回的数据中筛选出我们需要的特定数据。
- 存储数据。爬虫会根据我们设定的存储方式，将数据保存下来，方便我们进行后一步的操作。
三、requests库
这是爬虫的第一步：获取数据。
在电脑中安装requests库的方法如下：
- 在Mac电脑里打开终端软件（terminal），输入pip3 install requests，然后点击enter即可；
- Windows电脑里叫命令提示符（cmd），输入pip install requests 即可。
1. requests.get()
import requests
#在使用前需要先通过 import 来引入 requests 库
res = requests.get('URL')
#我们通过调用requests库中的get()方法来获取数据，这个方法需要一个参数，这个参数就是你需要请求的网址。当请求得到「响应」时，服务器返回的数据就被赋值到 res 这个变量上面
- 1
- 2
- 3
- 4
- 案例：使用requests.get()下载《滕王阁序》
import requests
response = requests.get(‘https://xiaoke.kaikeba.com/example/gexu/tengwanggexu.txt’)
- 1
- 2
- 3
2. response对象
Python是一门面向对象编程的语言，在面向对象的世界中，一切皆可为对象。在这里Response也是一个对象，他有自己的属性和方法。在我们知道一个数据是什么对象的时候，就可以去使用它对应的属性和方法。
刚刚通过requests.get()拿到的就是一个response对象。
import requests
response = requests.get(‘https://xiaoke.kaikeba.com/example/gexu/tengwanggexu.txt’)
print(type(response)) # 打印response的数据类型
# 输出结果：
<class ‘requests.models.Response’>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
代码运行结果显示，res是一个对象，它是一个requests.models.Response类。
response对象的四大常用属性：
- response.status_code
import requests
response = requests.get(‘https://xiaoke.kaikeba.com/example/gexu/tengwanggexu.txt’)
print(response.status_code)
# 输出结果：
200
- 1
- 2
- 3
- 4
- 5
- 6
- 7
这段代码把response的status_code打印出来，如果是200，那么就意味着这个请求是成功的。服务器收到了我们的请求，并返回了数据给我们。
- response.content
它保存着服务器返回的数据的二进制内容。
案例：去下载一张周杰伦的图片
import requests
# 发出请求，并把返回的结果放在变量response中
response = requests.get(‘http://b-ssl.duitang.com/uploads/blog/201501/20/20150120134050_BXihr.jpeg’)
# 把Reponse对象的内容以二进制数据的形式返回
pic = response.content
# 新建了一个文件jay.jpeg，这里的文件没加路径，它会被保存在程序运行的当前目录下
# 图片内容需要以二进制wb读写。
photo = open(‘jay.jpeg’,‘wb’)
# 获取pic的二进制内容
photo.write(pic)
# 关闭文件
photo.close()
# 输出结果为：我们能在本地得到一张周杰伦的图片
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- response.text
这个属性其实就是将 response.content 的二进制数据转换为字符串，适用于文字或者是网页源代码的下载.
import requests
# 用request去下载《滕王阁序》，将返回的 response 对象保存到 res 变量中
response = requests.get(‘https://xiaoke.kaikeba.com/example/gexu/tengwanggexu.txt’)
# 把Response对象的内容以字符串的形式返回
novel = response.text
# 打印变量novel
print(novel)
# 输出结果为整篇《滕王阁序》
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
import requests
# 用request去下载《滕王阁序》，将返回的 response 对象保存到 res 变量中
response = requests.get('https://xiaoke.kaikeba.com/example/gexu/tengwanggexu.txt')
# 把Response对象的内容以字符串的形式返回
novel = response.text
# 将《滕王阁序》保存到本地
with open('滕王阁序.txt','w') as twg:twg.write(novel)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- response.encoding
import requests
# 用request去下载《滕王阁序》，将返回的 response 对象保存到 res 变量中
response = requests.get('https://xiaoke.kaikeba.com/example/gexu/tengwanggexu.txt')
# 把Response对象的内容以字符串的形式返回
response.encoding='gbk'
novel = response.text
print(novel)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
以上经过encoding之后的novel打印出来为一堆乱码。
这是因为所有的文本数据都有编码类型。这篇文章的编码格式原本是’utf-8’。一般来说，requests库会帮我们自动去判断编码类型，不需要手动指定。
但是如果遇到一些需要自己去指定数据的编码类型的情况，就可以使用“response.encoding”去改变“response”拿到的数据的编码类型。我们手动指定了编码类型为‘gbk’而不是‘utf-8’。所以导致了编码类型不一致，出现了乱码！
再将更改为’gbk‘的编码变更回’utf-8’，这样就能正常打印输出了。
import requests
# 用request去下载《滕王阁序》，将返回的 response 对象保存到 res 变量中
response = requests.get('https://xiaoke.kaikeba.com/example/gexu/tengwanggexu.txt')
# 把Response对象的内容以字符串的形式返回
response.encoding='gbk'
response.encoding='utf-8'
novel = response.text
print(novel)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
四、总结
浏览器工作原理
爬虫工作原理
爬虫的四个步骤
requests库
五、练习
- 获取文章《蜀道难》全部内容，并且打印出全文内容。 文章网址为：https://xiaoke.kaikeba.com/example/gexu/shudaonan.txt。
import requests
# 使用requests.get()获取数据
response = requests.get(‘https://xiaoke.kaikeba.com/example/gexu/shudaonan.txt’)
# 打印数据请求的状态
print(response.status_code)
# 将返回的数据以text形式赋值给变量
article = response.text
# 打印articel
print(article)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 将《蜀道难》存储到本地
import requests
# 使用requests.get()获取数据
response = requests.get(‘https://xiaoke.kaikeba.com/example/gexu/shudaonan.txt’)
# 打印数据请求的状态
print(response.status_code)
# 将返回的数据以text形式赋值给变量
article = response.text
# 创建"蜀道难.txt"的文件，并以写入模式打开
sdn = open(‘蜀道难.txt’,‘w’)
# 将网站返回的内容写入txt文件中
sdn.write(article)
# 关闭文件
sdn.close()
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 下载一张彭于晏的图片。图片地址为：https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=21565698,717792087&fm=26&gp=0.jpg
import requests
# 使用requests.get()获取数据
response = requests.get(‘https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=21565698,717792087&fm=26&gp=0.jpg’)
# 将数据以二进制的形式存储到变量中
pic = response.content
# 以"彭于晏.jpg"创建文件，并以’wb’模式打开
with open(‘彭于晏.jpg’,‘wb’) as myfile:
# 将图片写入文件中
myfile.write(pic)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
fightingoyo
- 5
点赞
-
踩
- 12
收藏
-
打赏
- 1
评论
-
Python爬虫第一课：了解爬虫与浏览器原理一、浏览器的工作原理当我们要将网页的信息保存到本地时，通常是打开网页，然后通过复制网页的文本，接着粘贴到本地从上图中，只有我们和浏览器。但是实际上还有一方，那就是「服务器」。Request当我们在浏览器中输入一个网址，也叫做URL（Uniform Resource Locator），然后浏览器就会去存储放着这个网址资源文件的服务器获取这个网址的内容，这个过程就叫做「请求」(Request...
复制链接
扫一扫</div><div class="share-code-type"><p class="vip" data-type="vip"><span>VIP</span></p><p class="hot" data-type="hot"><span>热门</span></p></div></div></li></ul></div><div class="toolbox-right"></div> </div>
3万+
写评论
努力的小bai热评
1万+
先看后赞，养成习惯。
点赞收藏，人生辉煌。
讲解我们的爬虫之前，先概述关于爬虫的简单概念（毕竟是零基础教程）
爬虫
网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。
原则上,只要是浏览器(客户端)能做的事情，爬虫都能够做。
76
...</div></a></div>
</div>
了解 新建隐身窗口的目的
了解 chrome中network的使用
了解 寻找登录接口的方法
1 新建隐身窗口
浏览器中直接打开网站，会自动带上之前网站时保存的cookie，但是在爬虫中首次获取页面是没有携带cookie的，这种情况如何解决呢？
使用隐身窗口，首次打开网站，不会带上cookie，能够观察页面的获取情况，包括对方服务器如何设置cookie在本地
2 chrome中network的更多功能
2.1 Perserve log
默认情况下，页面
549
1058
第7部将复制的jspath 黏贴到控制台加一个.href(就是下面的代码)这样变得到了一个下载链接
document.querySelector(“#jishu > div > ul > li:nth-child(2) > div > span.xl > a”).href
分析此代码可以看出 li:
1259
f = open(pat…
2万+
爬取某网 response= requests.get(“http://www.xxxxx.com/“)
我们都知道response有 text 和 content 这两个property, 它们都是指响应内容，但是又有区别。我们从doc中可以看到：
text的d…
129
4399
这是一篇详细介绍Python爬虫入门的教程，从实战出发，适合初学者。读者只需在阅读过程紧跟文章思路，理清相应的实现代码，30 分钟即可学会编写简单的 Python 爬虫。
这篇 Python 爬虫教程主要讲解以下 5 部分内容：
了解网页；
使用 requests 库抓取网站数据；
使用 Beautiful S…
3172
从现在开始，你要去争取属于你的一切，格局、身材、思维、胆识、人脉、能力以及成熟和自信，要有野心，不负众望。
你要知道，有钱能治愈一切自卑，光善良没有用，你得优秀。
藏好软弱，世界大雨滂沱，万物苟且而活，无人会为你背负更多，除了坚强没有退路！
了解新建无痕窗口的目的
了解chrome中network的使用
了解寻找登录接口的方法
一、新建无痕窗口
浏览器中直接打开网站，会自动带上之前网站保存的cookie，但在爬虫中首次获取页面是没有携带cookie的，这种情况就要用到无痕窗口
1324
72
640
url = ‘https://c.y.qq.com/soso/fcgi-bin/client_search_cp’#要爬取的网址的headers
wb=openpyxl.Workbook()#利用openpyxl.W…
1431
Windows环境下运行，需要在命令提示符内运行代码：pip install bs4
MacOS环境下需要输入pip3 install BeautifulSoup4
requests库帮我们搞定了爬虫第1步——获取数据。
HTML知识，则有助于我们解析和提取网页源代码中的数据。
本次，则掌握如何使用BeautifulSoup解析和提取网页中的数据。
…
1109
python爬虫基础01
我们可以通过爬虫来从网站上爬取到自己想要的数据。我使用的爬虫是Pycharm+anaconda。想要爬取数据，首先你得python环境和相关的IDE，这里不多赘述。
python爬虫的原理知识
python爬虫的工作原理：
爬虫的四个步骤：
获取数据。爬虫会拿到我们要它去爬的网址，像服务器发出请求，获得服务器返回的数据。
解析数据。爬虫会将服务器返回的数据转换成人能看懂的样式。
筛选数据。爬虫会.
804
2630
目录
前言
requests如何解码(encoding)
解决思路
终极工具类
前言
相信大家在使用requests模块在抓取网页时，有时会遇到类似好å�¬ç��é�³ä¹�ï¼�好ç��ç��格式的编码,很是头疼。
如何解决这种问题呢？下面来看一下requests解码方式
requests如何解码(encoding)
直接来看源码:
当调用r.text方法时，其内部是如何实现转码过程的
从图片中可以看出调用流程
1.首先获取self.
2万+
“相关推荐”对你有帮助么？
-
非常没帮助
-
没帮助
-
一般
-
有帮助
-
非常有帮助
- 关于我们
- 招贤纳士
- 商务合作
- 寻求报道
- 400-660-0108
- kefu@csdn.net
- 在线客服
- 工作时间 8:30-22:00
- 公安备案号11010502030143
- 京ICP备19004658号
- 京网文〔2020〕1039-165号
- 经营性网站备案信息
- 北京互联网违法和不良信息举报中心
- 家长监护
- 网络110报警服务
- 中国互联网举报中心
- Chrome商店下载
- 账号管理规范
- 版权与免责声明
- 版权申诉
- 出版物许可证
- 营业执照
- ©1999-2022北京创新乐知网络技术有限公司
热门文章
- Python数据分析第十二课：单变量、双变量及多变量分析图 12088
- Python爬虫第四课：Network、XHR、json 9637
- 解决sns加载数据load_dataset()报错问题 8986
- Pandas中DataFrame重置索引 8972
- Seaborn常见图形绘制（kdeplot、distplot） 7785
最新评论
- Python数据分析补充：数据的分组与汇总（数据透视）
weixin_43840345: pivot_table中有index有几个就对应有几层分类汇总
- Python数据分析补充：数据的分组与汇总（数据透视）
weixin_43840345: 大佬，有没有函数可以是实现多层分类汇总，感觉使用循环叠加会很麻烦
- Python爬虫第四课：Network、XHR、json
爱可劳特: 非常感谢博主，看了真的解了我得问题
- Python数据分析第六课：多层索引
python_xiaofeng: 收藏了。我是需要列索引是多层索引，不过方法是通用的，只是这里的index换成columns就可以了。
- 解决sns加载数据load_dataset()报错问题
m0_51467506: 没有找到seaborn-data文件夹
您愿意向朋友推荐“博客详情页”吗？
-
强烈不推荐
-
不推荐
-
一般般
-
推荐
-
强烈推荐
最新文章
- Pandas中DataFrame重置索引
- 解决sns加载数据load_dataset()报错问题
- Pandas数据处理——map、apply、applymap的异同
最新文章
- Pandas中DataFrame重置索引
- 解决sns加载数据load_dataset()报错问题
- Pandas数据处理——map、apply、applymap的异同
插入表情
代码片
- HTML/XML
- objective-c
- Ruby
- PHP
- C
- C++
- JavaScript
- Python
- Java
- CSS
- SQL
- 其它
-
努力的小bai 2020.11.16
举报回复
赞！这是某课吧的文件吧，刚刚看完了前面 后面要收费就搜到博主的内容了，感谢
</div>
</div>
<div id="pcFlodCommentSideBox" class="pc-flodcomment-sidebox"><div class="comment-fold-tit"><span id="lookUnFlodComment" class="back"><img src="https://csdnimg.cn/release/blogv2/dist/pc/img/commentArrowLeftWhite.png" alt=""></span>被折叠的 <span class="count">0</span> 条评论<a href="https://blogdev.blog.csdn.net/article/details/122245662" class="tip" target="_blank">为什么被折叠?</a><a href="https://bbs.csdn.net/forums/FreeZone" class="park" target="_blank"><img src="https://csdnimg.cn/release/blogv2/dist/pc/img/iconPark.png">到【灌水乐园】发言</a> </div><div class="comment-fold-content"></div><div id="lookBadComment" class="look-bad-comment side-look-comment"><a class="look-more-comment">查看更多评论<img src="https://csdnimg.cn/release/blogv2/dist/pc/img/commentArrowDownWhite.png" alt=""></a></div>
</div>
打赏作者
-
-
fightingoyo
你的鼓励将是我创作的最大动力
余额支付 (余额：-- )
扫码支付
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
点击重新获取
扫码支付
Python爬虫第一课：了解爬虫与浏览器原理相关推荐
- Python网络爬虫第一课----Python网络爬虫基础《http和https协议》
Python网络爬虫第一课----Python网络爬虫基础<http和https协议> 一.HTTP协议 1.官方概念: HTTP协议是Hyper Text Transfer Protoc ...
- python学习第一课
python学习第一课 课前回顾 1.请求类型: 2.传参类型: 3.postman断言.参数化.多接口参数依赖 接口文档 这个接口是做什么的?URL请求类型参数--> 如何传递参数params ...
- python学习第一课——环境配置+比着葫芦画个瓢
python学习第一课 1. python概览 2. python的运行 3. python的变量.类型与存储 4. 对*.py文件的运行与存储 5. 终端切换路径及目录显示 6. 踩着巨人的肩膀创新 ...
- Python基础第一课
全部都重要 github博客传送门 博客园传送门 Python基础课 如何下载安装Python Python基础第一课 Python基础第二课 Python基础第三课 Python基础第四课 没了. ...
- 瑟瑟发抖，小白的python第一课——网络爬虫
作为python小白,总是在网络上看到关于python爬取各种数据的新闻,于是决定尝试之! 一:首先是python的安装,下载地址: https://www.python.org/downloads/ ...
- 儿童学python第一课_初学Python（第一课）
今天整理一下关于Python初学者的基础知识部分的第一课,因为之前学习过C,所以过于基础的知识就不详细记录了. Python相对于C\C++来说,在语法方面已经很简单了:甚至对于JavaScript也 ...
- python requests的作用_Python爬虫第一课：requests的使用
requests模块的入门使用 注意是requests不是request. 1.为什么使用requests模块,而不是用python自带的urllib requests的底层实现就是urllib re ...
- python爬虫第一课 开发环境配置
一.Python3的安装 二.请求库的安装 1.requests的安装 直接pip安装:pip3 install requests 2.Selenium的安装 selenium是一个自动测试化工具,利 ...
- 爬虫第一课——教你学会使用requests库
目录 前言 一.发送请求的一些方式 (一)GET 1.url 2.headers 3.proxies 4.timeout 5.params 6.verify (二)POST 1.url 2. head ...
- 爬虫第一课：写爬虫的思路
什么是爬虫? 爬虫就是从网上获得数据,它是通过编程来实现的.对于非计算机专业的人来说,一提到编程两个字,可能就会觉得自己做不到.但其实并不是这样,编程就是通过写代码,来让计算机实现你的想法.你解决问题 ...
最新文章
- mysql jdbc tomcat_Tomcat+MySql+jdbc
- nginx进程管理之worker进程
- golang中的strings.Split
- Spring Cloud Config git版
- lucene Field部分参数设置含义
- 请推荐好的工作流产品
- 如何使用小程序自定义组件功能
- 4）Thymeleaf th:each 循环迭代与 th:if、th:switch 条件判断
- 漏洞库：爬取CNNVD-国家信息安全漏洞库
- 嵌入式软件分层设计思想
- JTAG IEEE 1194.1笔记
- PTA 7-2 复数与基本类型的加减运算
- 文献记录(part107)--Detecting Meaningful Clusters From High-Dimensional Data ...
- [附源码]计算机毕业设计JAVA病历管理系统设计
- Photoshop + ExifToolGUI 完美复制照片信息
- 澳大利亚公司称与中石油达成巨额售气协议
- Maven was cached in the local repository, resolution will not be reattempted until the update interv
- 攻克论文写作系列之5：你论文的“贡献”是什么？
- 2022-2028年全球与中国单稳态触发器行业市场需求预测分析
- ubuntu 内网机器访问外网