爬虫学习3---requests库深入学习

2024-04-24 04:49:35

我们用来写爬虫最方便的还是requests库里面的一些资源了，所以，对requests库进行深入的学习是十分有必要的。

目录：

1.request库的七个主要方法。

（1）requests.get(url,params=None,**kwargs)

（2）requests.request(method,url,**kwargs)

13个常用参数：

（3）requests.head(url,**kwargs)

（4）requests.post(url, data=None, json=None,**kwar

（5）requests.put(url, data=None, **kwargs)

（6）requests.patch(url, data=None, **kwargs)

（7）requests.delete(url, **kwargs)

2.requests库的两个重要对象

分支：重点介绍Response对象。

Response对象的属性（要记住）

r.encoding和r.apparent_encoding的区别

3.理解Requests库的异常

4.HTTP协议和requests库的主要方法

重点理解：patch和put的区别

1.request库的七个主要方法。

（1）requests.get(url,params=None,**kwargs)

（2）requests.request(method,url,**kwargs)

第一个参数：method：请求方式，对应get/put/post等七种方法。

第二个参数：url：获取页面的url链接

第三个参数：**kwargs：控制访问的参数，共13个

13个常用参数：

1. params：字典或字节序列，作为参数增加到url中。

2. data:字典，字节序列或文件对象，作为Requests的内容

3. json:JSON格式的数据，作为requests的内容。

4. headers：字典，HTTP定制头。

5. cookies:字典或CookieJar，Requests中的cookie。

6. auth:元组类型，支持HTTP认证功能。

7. files:字典类型，传输文件。

8. timeout：设定的超时时间，秒为单位。

9. proxies:字典类型,设定访问代理服务器,可以增加登录认证。

10. allow_redirects:True/False，默认为True,重定向开关。

11. stream:True/False,默认为True，获取内容立即下载开关。

12. verify:True/False,默认为True,认证SSL证书开关。

13. cert:本地SSL证书路径。

（3）requests.head(url,**kwargs)

（4）requests.post(url, data=None, json=None,**kwar

（5）requests.put(url, data=None, **kwargs)

（6）requests.patch(url, data=None, **kwargs)

（7）requests.delete(url, **kwargs)

2.requests库的两个重要对象

分支：重点介绍Response对象。

Response对象的属性（要记住）

r.encoding和r.apparent_encoding的区别

r.encoding是根据http header推测出的编码方式，如果没有header,默认为ISO-8859-1。

r.apparent_encoding是根据内容分析出来的编码方式，用这个代替r.encoding可以解析出中文。

3.理解Requests库的异常

4.HTTP协议和requests库的主要方法

重点理解：patch和put的区别

patch局部更新，可以更好地节省网络带宽。

好的，看到这里恭喜你，已经看到头了，下次见，等着我的爬虫学习4。

爬虫学习3---requests库深入学习相关推荐

Python 网络爬虫笔记2 -- Requests库实战
Python 网络爬虫笔记2 – Requests库实战 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:P ...
Python 网络爬虫笔记1 -- Requests库
Python 网络爬虫笔记1 – Requests库 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Pyt ...
Python网络爬虫与信息提取—requests库入门
requests的学习笔记 requests库自动爬取HTML页面,自动网络请求提交此博客为中国大学MOOC北京理工大学<Python网络爬虫与信息提取>的学习笔记 requests库的 ...
爬虫系统基础框架何时使用爬虫框架？ requests库 + bs4来实现简单爬虫
转载请注明出处https://www.cnblogs.com/alexlee666/p/10180519.html,谢谢! 文中图片来自于我的简书博客. 一. 爬虫用途和本质: 网络爬虫顾名思义即模仿 ...
python3爬虫实战：requests库+正则表达式爬取头像
python3爬虫实战:requests库+正则表达式爬取头像网站url:https://www.woyaogexing.com/touxiang/qinglv/new/ 浏览网页:可以发现每个图片 ...
网络爬虫学习3 - Requests库的七个主要方法、安全性问题与异常处理、反爬虫和Robots协议
网络爬虫MOOC学习打卡 - 第三天文章目录网络爬虫MOOC学习打卡 - 第三天一.Requests库主要方法解析 0.Requests库的七个主要方法 1.request()方法request ...
Python爬虫利器一Requests库的用法
之前我们用了 urllib 库,这个作为入门的工具还是不错的,对了解一些爬虫的基本理念,掌握爬虫爬取的流程有所帮助.入门之后,我们就需要学习一些更加高级的内容和工具来方便我们的爬取.那么这一节来简单介 ...
爬虫笔记(一)——Requests库
文章目录写在前面一.Requests库入门 1.Requests库的安装 (1)安装Requests库 (2)测试Requests库 2.Requests库的get()方法 (1) get()方法 ...
爬虫笔记：Requests库详解
什么是Requests 之前讲解了爬虫笔记:Urllib库详解发现确实有不方便的地方,比如加一个代理,cookie,发送post请求比较繁琐. Request库能用几句话实现这些. Requests ...
从零开始写Python爬虫---1.1 requests库的安装与使用
什么是爬虫? 爬虫本质上是模拟人浏览信息的过程,只不过他通过计算机来达到快速抓取筛选信息的目的.所以我们想要写一个爬虫,最基本的就是要将我们需要抓取信息的网页原原本本的抓取下来.这个时候就要用到req ...

最新文章

热门文章