爬虫 - requests模块
基于GET请求
1、基本请求
import requests response=requests.get('http://dig.chouti.com/') print(response.text)
2、带参数的GET请求->params
#在请求头内将自己伪装成浏览器,否则百度不会正常返回页面内容 import requests response=requests.get('https://www.baidu.com/s?wd=python&pn=1',headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36',}) print(response.text)#如果查询关键词是中文或者有其他特殊符号,则不得不进行url编码 from urllib.parse import urlencode wd='egon老师' encode_res=urlencode({'k':wd},encoding='utf-8') print(encode_res) ## k=egon%E8%80%81%E5%B8%88 keyword=encode_res.split('=')[1] print(keyword) ## egon%E8%80%81%E5%B8%88# 然后拼接成url url='https://www.baidu.com/s?wd=%s&pn=1' %keywordresponse=requests.get(url,headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36',}) res1=response.text
自己拼接GET请求
import requests wd='egon老师' pn=1 response=requests.get('https://www.baidu.com/s',params={'wd':wd,'pn':pn},headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36',}) res=response.url print(res) # https://www.baidu.com/s?wd=egon%E8%80%81%E5%B8%88&pn=1
params参数的使用
3、带参数的GET请求->headers
#通常我们在发送请求时都需要带上请求头,请求头是将自身伪装成浏览器的关键,常见的有用的请求头如下 Host Referer #大型网站通常都会根据该参数判断请求的来源 User-Agent #客户端 Cookie #Cookie信息虽然包含在请求头里,但requests模块有单独的参数来处理他,headers={}内就不要放它了
View Code
4、带参数的GET请求->cookies
#登录github,然后从浏览器中获取cookies,以后就可以直接拿着cookie登录了,无需输入用户名密码 #用户名:egonlin 邮箱378533872@qq.com 密码lhf@123import requestsCookies={ 'user_session':'wGMHFJKgDcmRIVvcA14_Wrt_3xaUyJNsBnPbYzEL6L0bHcfc', }response=requests.get('https://github.com/settings/emails',cookies=Cookies) #github对请求头没有什么限制,我们无需定制user-agent,对于其他网站可能还需要定制print('378533872@qq.com' in response.text) #True
View Code
基于POST请求
1、介绍
#GET请求 HTTP默认的请求方法就是GET* 没有请求体* 数据必须在1K之内!* GET请求数据会暴露在浏览器的地址栏中GET请求常用的操作:1. 在浏览器的地址栏中直接给出URL,那么就一定是GET请求2. 点击页面上的超链接也一定是GET请求3. 提交表单时,表单默认使用GET请求,但可以设置为POST#POST请求 (1). 数据不会出现在地址栏中 (2). 数据的大小没有上限 (3). 有请求体 (4). 请求体中如果存在中文,会使用URL编码!#!!!requests.post()用法与requests.get()完全一致,特殊的是requests.post()有一个data参数,用来存放请求体数据
2、发送post请求,模拟浏览器的登录行为
#对于登录来说,应该输错用户名或密码然后分析抓包流程,用脑子想一想,输对了浏览器就跳转了,还分析个毛线,累死你也找不到包
''' 一 目标站点分析浏览器输入https://github.com/login然后输入错误的账号密码,抓包发现登录行为是post提交到:https://github.com/session而且请求头包含cookie而且请求体包含:commit:Sign inutf8:✓authenticity_token:lbI8IJCwGslZS8qJPnof5e7ZkCoSoMn6jmDTsL1r/m06NLyIbw7vCrpwrFAPzHMep3Tmf/TSJVoXWrvDZaVwxQ==login:egonlinpassword:123二 流程分析先GET:https://github.com/login拿到初始cookie与authenticity_token返回POST:https://github.com/session, 带上初始cookie,带上请求体(authenticity_token,用户名,密码等)最后拿到登录cookieps:如果密码时密文形式,则可以先输错账号,输对密码,然后到浏览器中拿到加密后的密码,github的密码是明文 '''import requests import re#第一次请求 r1=requests.get('https://github.com/login') r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权) authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN#第二次请求:带着初始cookie和TOKEN发送POST请求给登录页面,带上账号密码 data={'commit':'Sign in','utf8':'✓','authenticity_token':authenticity_token,'login':'317828332@qq.com','password':'alex3714' } r2=requests.post('https://github.com/session',data=data,cookies=r1_cookie)login_cookie=r2.cookies.get_dict()#第三次请求:以后的登录,拿着login_cookie就可以,比如访问一些个人配置 r3=requests.get('https://github.com/settings/emails',cookies=login_cookie)print('317828332@qq.com' in r3.text) #True
自动登录github(自己处理cookie信息)
import requests import resession=requests.session() #第一次请求 r1=session.get('https://github.com/login') authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN#第二次请求 data={'commit':'Sign in','utf8':'✓','authenticity_token':authenticity_token,'login':'317828332@qq.com','password':'alex3714' } r2=session.post('https://github.com/session',data=data,)#第三次请求 r3=session.get('https://github.com/settings/emails')print('317828332@qq.com' in r3.text) #True
requests.session()自动帮我们保存cookie信息
3、补充
requests.post(url='xxxxxxxx',data={'xxx':'yyy'}) #没有指定请求头,#默认的请求头:application/x-www-form-urlencoed#如果我们自定义请求头是application/json,并且用data传值, 则服务端取不到值 requests.post(url='',data={'':1,},headers={'content-type':'application/json'})requests.post(url='',json={'':1,},) #默认的请求头:application/json
View Code
响应Response
1、response属性
import requests respone=requests.get('http://www.jianshu.com') # respone属性 print(respone.text) # 字符串 print(respone.content) # 二进制print(respone.status_code) # 状态码 print(respone.headers) # 响应头 print(respone.cookies) print(respone.cookies.get_dict()) # 字典形式的COOKIES print(respone.cookies.items()) # 列表套元祖形式的COOKIESprint(respone.url) # 请求的url print(respone.history) #跳转前的responseprint(respone.encoding) # 页面的编码 print(response.iter_content()) # 响应的二进制数据在一个生成器中
View Code
2、编码问题
#编码问题 import requests response=requests.get('http://www.autohome.com/news') # response.encoding='gbk' #汽车之家网站返回的页面内容为gb2312编码的,而requests的默认编码为ISO-8859-1,如果不设置成gbk则中文乱码 print(response.text)
View Code
3、获取二进制数据
import requestsresponse=requests.get('https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1509868306530&di=712e4ef3ab258b36e9f4b48e85a81c9d&imgtype=0&src=http%3A%2F%2Fc.hiphotos.baidu.com%2Fimage%2Fpic%2Fitem%2F11385343fbf2b211e1fb58a1c08065380dd78e0c.jpg')with open('a.jpg','wb') as f:f.write(response.content)
View Code
#stream参数:一点一点的取,比如下载视频时,如果视频100G,用response.content然后一下子写到文件中是不合理的import requestsresponse=requests.get('https://gss3.baidu.com/6LZ0ej3k1Qd3ote6lo7D0j9wehsv/tieba-smallvideo-transcode/1767502_56ec685f9c7ec542eeaf6eac93a65dc7_6fe25cd1347c_3.mp4',stream=True)with open('b.mp4','wb') as f:for line in response.iter_content():f.write(line)
获取二进制流
4、获取json数据
#解析json import requests response=requests.get('http://httpbin.org/get')import json res1=json.loads(response.text) #太麻烦 res2=response.json() #直接获取json数据print(res1 == res2) #True
View Code
5、Redirection and History
import requests import re#第一次请求 r1=requests.get('https://github.com/login') r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权) authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN#第二次请求:带着初始cookie和TOKEN发送POST请求给登录页面,带上账号密码 data={'commit':'Sign in','utf8':'✓','authenticity_token':authenticity_token,'login':'317828332@qq.com','password':'alex3714' }#测试一:没有指定allow_redirects=False,则响应头中出现Location就跳转到新页面,r2代表新页面的response r2=requests.post('https://github.com/session',data=data,cookies=r1_cookie)print(r2.status_code) #200 print(r2.url) #看到的是跳转后的页面 print(r2.history) #看到的是跳转前的response print(r2.history[0].text) #看到的是跳转前的response.text#测试二:指定allow_redirects=False,则响应头中即便出现Location也不会跳转到新页面,r2代表的仍然是老页面的response r2=requests.post('https://github.com/session',data=data,cookies=r1_cookie,allow_redirects=False)print(r2.status_code) #302 print(r2.url) #看到的是跳转前的页面https://github.com/session print(r2.history) #[]
requests中的参数:allow_redirects
高级用法
1、SSL Cert Verification 证书验证
#证书验证(大部分网站都是https) import requests respone=requests.get('https://www.12306.cn') #如果是ssl请求,首先检查证书是否合法,不合法则报错,程序终端#改进1:去掉报错,但是会报警告 import requests respone=requests.get('https://www.12306.cn',verify=False) #不验证证书,报警告,返回200 print(respone.status_code)#改进2:去掉报错,并且去掉警报信息 import requests from requests.packages import urllib3 urllib3.disable_warnings() #关闭警告 respone=requests.get('https://www.12306.cn',verify=False) print(respone.status_code)#改进3:加上证书 #很多网站都是https,但是不用证书也可以访问,大多数情况都是可以携带也可以不携带证书 #知乎\百度等都是可带可不带 #有硬性要求的,则必须带,比如对于定向的用户,拿到证书后才有权限访问某个特定网站 import requests respone=requests.get('https://www.12306.cn',cert=('/path/server.crt','/path/key')) print(respone.status_code)
View Code
2、使用代理
#官网链接: http://docs.python-requests.org/en/master/user/advanced/#proxies#代理设置:先发送请求给代理,然后由代理帮忙发送(封ip是常见的事情) import requests proxies={'http':'http://egon:123@localhost:9743',#带用户名密码的代理,@符号前是用户名与密码,后面是代理IP与代理端口'http':'http://localhost:9743','https':'https://localhost:9743', } respone=requests.get('https://www.12306.cn',proxies=proxies)print(respone.status_code)#支持socks代理,安装:pip install requests[socks] import requests proxies = {'http': 'socks5://user:pass@host:port','https': 'socks5://user:pass@host:port' } respone=requests.get('https://www.12306.cn',proxies=proxies)print(respone.status_code)
View Code
3、超时时间
超时设置 #两种超时:float or tuple #timeout=0.1 #代表接收数据的超时时间 #timeout=(0.1,0.2)#0.1代表链接超时 0.2代表接收数据的超时时间import requests respone=requests.get('https://www.baidu.com',timeout=0.0001)
View Code
4、认证设置
#官网链接:http://docs.python-requests.org/en/master/user/authentication/#认证设置:登陆网站是,弹出一个框,要求你输入用户名密码(与alter很类似),此时是无法获取html的 # 但本质原理是拼接成请求头发送 # r.headers['Authorization'] = _basic_auth_str(self.username, self.password) # 一般的网站都不用默认的加密方式,都是自己写 # 那么我们就需要按照网站的加密方式,自己写一个类似于_basic_auth_str的方法 # 得到加密字符串后添加到请求头 # r.headers['Authorization'] =func('.....')#看一看默认的加密方式吧,通常网站都不会用默认的加密设置 import requests from requests.auth import HTTPBasicAuth r=requests.get('xxx',auth=HTTPBasicAuth('user','password')) print(r.status_code)#HTTPBasicAuth可以简写为如下格式 import requests r=requests.get('xxx',auth=('user','password')) print(r.status_code)
View Code
转载于:https://www.cnblogs.com/chengdajing/articles/9239718.html
爬虫 - requests模块相关推荐
- Python爬虫---requests模块的基本使用
Python爬虫-requests模块的基本使用 基础 什么是爬虫? 就是通过编写程序模拟浏览器上网,然后让其去互联网上爬取数据的过程. 爬虫的分类 通用爬虫 抓取互联网中的一整张页面数据 聚焦爬虫 ...
- python爬虫requests模块
读书使人充实,讨论使人机智,笔记使人准确-.凡有所学,皆成性格. ---- (英国)培根 文章目录 简单的代码实现 requests.text与requests.content的区别 通过对 resp ...
- python网络爬虫应用_Python网络爬虫(requests模块应用1)
一.什么是requests模块? requests模块是python中原生的基于网络请求的模块,其主要作用是用来模拟浏览器发起请求.功能强大,用法简洁高效.在爬虫领域中占据着半壁江山的地位. 二.为什 ...
- Python爬虫 — requests模块(1)
Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用. 警告:非专业使用其他 HTTP 库会导致危险的副作用,包括:安全缺陷症.冗余代码症.重新发明轮子症.啃文档症.抑 ...
- 2021-11-03大数据学习日志——数据埋点+网络爬虫——requests 模块
requests 是用 python 语言编写的一个开源的HTTP库,可以通过 requests 库编写 python 代码发送网络请求,其简单易用,是编写爬虫程序时必知必会的一个模块. reques ...
- (八)空气质量指数计算5.0-----网络爬虫requests模块
案例描述 利用网络爬虫实时获取城市的空气质量 网络爬虫 • 自动抓取互联网信息的程序:利用互联网数据进行分析.开发产品 • 步骤: 通过网络链接获取网页内容 对获得的网页内容进行处理 requests ...
- python 网络爬虫requests模块
一.requests模块 requests模块是python中原生的基于网络请求的模块,其主要作用是用来模拟浏览器发起请求.功能强大,用法简洁高效. 1.1 模块介绍及请求过程 requests模块模 ...
- 爬虫 requests 模块
requests 模块 介绍 使用requests可以模拟浏览器的请求, 比起之前用到的urllib,requests模块的api更加便捷(本质就是封装了urllib3) ps: requests库发 ...
- python 爬虫 requests模块 中的Cookies 验证 通过验证cookies模拟登陆豆瓣登陆
在爬取某些数据时,需要进行网页的登陆,才可以进行数据的抓取工作.Cookies登陆就像很多网页中的自动登陆功能一样,可以让用户第二次登陆时不在需要验证账号和密码的情况下进行登陆.在requests模块 ...
最新文章
- 如何告别半途而废——韦东山嵌入式Linux视频学习笔记00
- HTML之CSS画三角形原理,纯CSS写三角形样式集合(原理解析)
- java form 对象 一对一_java-双向一对一地“对象引用了一个未保存...
- 远程连接Oracle 数据库连接报错ORA-12638身份检索失败
- Java设计模式(3 / 23):装饰者模式
- 汉字为什么能流传至今_女皇武则天自创18个汉字,有17个被废除了,只有这1个字流传至今...
- Service Mesh 落地挑战
- gnu java_【Java学习笔记】修饰符
- HDU 4336 Card Collector(状压 + 概率DP 期望)题解
- 桌面日历(阴历、天气)小程序
- yarn:info There appears to be trouble with your network connection. Retrying...
- [UESTC SC T1] 最大疯子树
- c语言程序设计输出函数,输出函数C语言程序设计.pdf
- java中 移位运算符_java中的移位运算符心得总结
- CentOS 编译安装 MySQL5.7
- 物来顺应,未来不迎,当时不杂,既过不恋
- ESP32-C3编译问题
- 【odoo15】添加Chatter到表单视图,创建[发送消息][记录备注][安排活动]
- eve服务器关闭维护几天,关于维护请问,EVE每次维护的具体时间是多 – 手机爱问...
- 神兽保佑,永无bug!
热门文章
- 日报 18/07/22 您的设计模式!终于有时间开写~ ~
- codevs 2879 堆的判断
- 重点:怎样正确的使用QThread类(注:包括推荐使用QThread线程的新方法QObject::moveToThread)...
- opengl基础学习专题 (二) 点直线和多边形
- 使用百度地图结合GPS进行定位
- Node.js的核心与红利
- 实现页面打开后滚动到最底端的效果(转)
- 鸿蒙系统第五批公测,鸿蒙系统即将迎来二轮公测,nova机型增添其中
- git查看stash内容
- leetcode算法题--寻找两个有序数组的中位数★★