爬虫学习5——requests进阶（cookie登录、防盗链、

cookies登录

方法一：在提出申请时指定cookie

方法二：使用session，给出登陆的网站和账户密码，后续使用session提出网站申请

防盗链：就是网站的溯源，当前本次请求的上一级是谁

cookies登录

登录之后会得到服务器返回的cookie，使用cookie请求我们需求的url页面

session用于保持登录信息，在这个过程中cookie信息不会丢失

session=requests.session()

方法一：在提出申请时指定cookie

import requestsresp=requests.get('https://user.17k.com/ck/author/shelf?page=1&appKey=2406394919',headers={'Cookie': 'GUID=db7d8a94-9836-49af-9d37-528c168c3c11; sajssdk_2015_cross_new_user=1; c_channel=0; c_csc=web; BAIDU_SSP_lcr=https://graph.qq.com/; Hm_lvt_9793f42b498361373512340937deb2a0=1646533275,1646542908,1646543120; accessToken=avatarUrl%3Dhttps%253A%252F%252Fcdn.static.17k.com%252Fuser%252Favatar%252F19%252F39%252F77%252F93477739.jpg-88x88%253Fv%253D1646548038000%26id%3D93477739%26nickname%3DTimmy666%26e%3D1662100809%26s%3D6dcc24a1c68aa6fd; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%2293477739%22%2C%22%24device_id%22%3A%2217f5d07ebff14e-0fe76a06920b2b-56171d58-1296000-17f5d07ec00558%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E7%9B%B4%E6%8E%A5%E6%B5%81%E9%87%8F%22%2C%22%24latest_referrer%22%3A%22%22%2C%22%24latest_referrer_host%22%3A%22%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC_%E7%9B%B4%E6%8E%A5%E6%89%93%E5%BC%80%22%7D%2C%22first_id%22%3A%22db7d8a94-9836-49af-9d37-528c168c3c11%22%7D; Hm_lpvt_9793f42b498361373512340937deb2a0=1646549408'})
print(resp.json())

方法二：使用session，给出登陆的网站和账户密码，后续使用session提出网站申请

import requestssession=requests.session()url='https://user.17k.com/www/bookshelf/'data={'loginName':'17860069596','password':'qwerasdf123'}
session.post(url,data=data)resp=session.get('https://user.17k.com/ck/author/shelf?page=1&appKey=2406394919')
print(resp.json())

上述两种方法得到的结果相同

防盗链：就是网站的溯源，当前本次请求的上一级是谁

import requestsurl='https://www.pearvideo.com/video_1753355'contID=url.split('_')[1]videoStatusUrl=f'https://www.pearvideo.com/videoStatus.jsp?contId={contID}'headers={'Referer': 'https://www.pearvideo.com/video_1753355'}# Referer的值就是urlresp=requests.get(videoStatusUrl,headers=headers)dic=resp.json()srcUrl=dic['videoInfo']['videos']['srcUrl']
systemTime=dic['systemTime']srcUrl=srcUrl.replace(systemTime,f'cont-{contID}')img_resp=requests.get(srcUrl)
with open('F:/代码/pachong.mp4',mode='wb') as f:f.write(img_resp.content)#使用content拿到图片的字节，然后write
resp.close()

通过上面的代码我们就可以将短视频保存到本地名为pachong的一个本地视频

爬虫学习5——requests进阶（cookie登录、防盗链、相关推荐

python爬虫requests.getcookie_爬虫14 案例--requests使用Cookie登录京东商城
京东测试账号: 账号:python_afu 密码:**** 手动登录京东后,保存头部信息可以使用sublime对内容进行正则处理注意如果有冒号,要去掉哦下面的代码使用到了Cookie,因为Coo ...
python爬虫--cookie、防盗链、代理
处理cookie 1.cookie就是在浏览器登录页面的时候,你把你的的账号和密码输入,主机会接受到你的用户名和密码,然后校验正确性,如果用户名和密码正确,主机会向你的浏览器里面的cookie里面写入 ...
python妹子图爬虫5千张高清大图突破防盗链福利5千张福利高清大图
meizitu-spider python通用爬虫-绕过防盗链爬取妹子图这是一只小巧方便,强大的爬虫,由python编写所需的库有 requests BeautifulSoup os lxml 伪 ...
网络爬虫学习3 - Requests库的七个主要方法、安全性问题与异常处理、反爬虫和Robots协议
网络爬虫MOOC学习打卡 - 第三天文章目录网络爬虫MOOC学习打卡 - 第三天一.Requests库主要方法解析 0.Requests库的七个主要方法 1.request()方法request ...
【python】【爬虫】selenium模块使用cookie登录
目录使用Session对象获取cookies 使用selenium模块获取cookies实现自动登录获取cookies 使用cookies自动登录存在的问题在以前的文章中实现了向服务器发送PO ...
Python爬虫学习5：使用cookie访问网页（以豆瓣为例）
1. 先在浏览器上登录豆瓣,登录成功后打开开发者工具,可以查看到Cookie. 第一次登录后,短时间内再次打开此页面时,会发现系统已经保存了cookie, 不用再重新登录.时间长了cookie会失效, ...
python爬虫学习笔记-requests基础
爬虫初始为什么要学习爬虫之前在授课过程中,好多同学都问过我这样的一个问题:为什么要学习爬虫,学习爬虫能够为我们以后的发展带来那些好处?其实学习爬虫的原因和为我们以后发展带来的好处都是显而易见的,无 ...
python爬虫学习之淘宝模拟登录
使用教程下载chrome浏览器查看chrome浏览器的版本号,对应版本号的chromedriver驱动 pip安装下列包 pip install selenium 登录微博,并通过微博绑定淘宝账 ...
python爬虫学习(一) requests模块
requests模块: python中原生的一款基于网络请求的模块,功能非常强大,简单便捷,效率极高.作用:模拟浏览器发请求. 如何使用:(requests模块的编码流程) 一指定url 一发起请求 ...

爬虫学习5——requests进阶（cookie登录、防盗链、

cookies登录

方法一：在提出申请时指定cookie

方法二：使用session，给出登陆的网站和账户密码，后续使用session提出网站申请

防盗链：就是网站的溯源，当前本次请求的上一级是谁

爬虫学习5——requests进阶（cookie登录、防盗链、相关推荐

最新文章

热门文章