python中headers的作用_爬虫入门到精通-headers的详细讲解(模拟登录知乎)
直接开始案例吧。
本次我们实现如何模拟登陆知乎。
1.抓包
注意打开开发者工具后点击“preserve log”,密码记得故意输入错误,然后点击登录
我们很简单的就找到了 我们需要的请求
_xsrf:81aa4a69cd410c3454ce515187f2d4c9
password:***
email:admin@wuaics.cn
可以看到请求一共有三个参数
email 和password就是我们需要登录的账号及密码
那么_xsrf是什么?我们在哪能找到?
像“_xsrf”这种参数,一般叫做页面校检码,是来检查你是否是从正常的登录页面过来的。
那我们复制这个值,在登录页面找找看。
//input[@name="_xsrf"]/@value
所以,本次登录我们需要得到的数据已经都得到了
步骤如下:
打开知乎登录页面,获取_xsrf
把_xsrf和自己的账号及密码一起发送(模拟登录)
2.模拟登录
import requests
url = 'https://www.zhihu.com/#signin'
z = requests.get(url)
print z.status_code
我们会看到 http状态码为500...
至于为什么会返回500状态码呢?是因为我们用程序来访问知乎被发现了...
我们伪装成浏览器,添加一行
可以看到返回正常了,http状态码为200(这就是headers的作用)
那我们现在获取_xsrf
from lxml import etree
sel = etree.HTML(z1.content)
# 这个xsrf怎么获取 我们上面有讲到
_xsrf = sel.xpath('//input[@name="_xsrf"]/@value')[0]
然后模拟登录
loginurl = 'https://www.zhihu.com/login/email'
# 这里的_xsrf就是我们刚刚上面得到的
formdata = {
'email':'admin@wuaics.cn',
'password':'你的密码',
'_xsrf':_xsrf
}
z2 = requests.post(url=loginurl,data=formdata,headers=headers)
print z2.status_code
#200
print z2.content
# '{"r":0,\n "msg": "\\u767b\\u5f55\\u6210\\u529f"\n}'
print z2.json()['msg']
# 登陆成功
可以看到已经模拟登录并成功了。
# 为什么用这个页面呢?
# 因为这个页面只有登录后才能看得到,如果没有登录的话 会自动跳转让你登录的
mylog = 'https://www.zhihu.com/people/pa-chong-21/logs'
z3 = requests.get(url=mylog,headers=headers)
print z3.status_code
#200
print z3.url
# u'https://www.zhihu.com/?next=%2Fpeople%2Fpa-chong-21%2Flogs'
说明知乎判断我们没有登录,然后把我们跳转到登录页面了.
如果感兴趣的话,可以把z3.text 的返回值存为123.html,然后打开看看,是不是跳转到登录页面了..
那么为什么会跳到登录页面呢?刚刚不是已经登录成功了么?
这是因为,我们这几个模拟请求,相互间都是独立的,所以z2登录成功了,和z3并没有什么关系。
那如果我现在想要z3不用再模拟登录一次,也能登录的话,怎么办呢?
我们可以把z2登录成功后得到的cookie给z3,这样,z3也就能登录成功了.
用程序实现
再次判断下是否登录成功。
z3 = requests.get(url=mylog,headers=headers)
print z3.url
# u'https://www.zhihu.com/people/pa-chong-21/logs'
我们可以看到已经正常访问了。说明我们登录成功了
所以,以后只要你带着这个cookie,就可以访问登录后的页面了.(这就是cookie的作用..)
最后附上一个小技巧.
当你需要登录,或者说你需要在一段会话中操作(也就是我们上面的操作)
会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出的所有请求之间保持 cookie, 期间使用 urllib3 的 connection pooling 功能。所以如果你向同一主机发送多个请求,底层的 TCP 连接将会被重用,从而带来显著的性能提升。 (参见 HTTP persistent connection).
使用会话后,我们上面的代码可以改成这样
可以看到我们没有把cookie传过去,但是还是登录成功了,这是因为session会自动帮你处理这些,会自动帮你管理cookie
我们可以打印看下我们请求的headers
可以看到headers里面自动加上了cookie
最后再次总结一下
看完本篇文章后,你应该要
能理解User-Agent,cookie的作用
了解requests中的session用法
了解如何模拟登录一个网页
如果你对requests这个库不太熟悉的话,你可以在快速上手 - Requests 2.10.0 文档浏览。
python中headers的作用_爬虫入门到精通-headers的详细讲解(模拟登录知乎)相关推荐
- 爬虫模拟登陆手机验证码_爬虫入门到精通-headers的详细讲解(模拟登录知乎)...
本文章属于爬虫入门到精通系统教程第七讲 直接开始案例吧. 本次我们实现如何模拟登陆知乎. 1.抓包 1. 首先打开知乎登录页 知乎 - 与世界分享你的知识.经验和见解 注意打开开发者工具后点击&quo ...
- 爬虫的步骤解析内容xpath介绍_爬虫入门到精通-网页的解析(xpath)
在爬虫入门到精通第五讲中,我们了解了如何用正则表达式去抓取我们想要的内容.这一章我们来学习如何更加简单的来获取我们想要的内容. xpath的解释 XPath即为XML路径语言(XML Path Lan ...
- 爬虫入门到精通-HTTP协议的讲解
HTTP协议的讲解 本文章属于爬虫入门到精通系统教程第三讲 什么是HTTP协议? 引用自维基百科 超文本传输协议(英文:HyperText Transfer Protocol,缩写:HTTP)是互联网 ...
- python爬图片代码大全_爬虫入门教程⑩— 用漂亮的图表展示爬取到的数据
经过了前面的努力,我们成功获取到了数据,并且学会了保存,但是只是用网页展示出来,是不是有一些不够美观呢? 所以本节的内容是:数据的可视化.拿到了数据却不能使其简单易懂并且足够突出,那就是不是好的数据工 ...
- python中main的作用_浅析python 中__name__ = '__main__' 的作用
很多新手刚开始学习python的时候经常会看到python 中__name__ = \'__main__\' 这样的代码,可能很多新手一开始学习的时候都比较疑惑,python 中__name__ = ...
- python 中缩进的作用_缩进在Python中的作用有哪些?Python缩进案例分享
缩进通常是指在文档中缩进单词,空格或行以遵循文档的样式规则,或者可以用来解释编写文档或代码时应使用的距离或应使用的空格.不过缩进在Python中的作用有哪些?在Python中缩进是最独特的功能之一,可 ...
- python中items的作用_什么是python items函数?怎么使用它?
这篇文章我们来学习一下关于python字典之中的python items函数的相关知识,items函数是什么意思,这个函数有什么作用都将会在接下来的文章之中得到解答. 描述 Python 字典(Dic ...
- python中else的作用_享学课堂谈python中else的用途
今天我能聊聊python中的else,大家都知道 Python 中else的基本用法是在条件控制语句中的 if...elif...else...,但是else 还有两个其它的用途,一是用于循环的结尾, ...
- python中break的作用_详解Python中break语句的用法
在Python中的break语句终止当前循环,继续执行下一个语句,就像C语言中的break一样. break最常见的用途是当一些外部条件被触发,需要从一个循环中断退出. break语句可以在while ...
最新文章
- 在阿里当PM都需要做什么?
- see的口语高频用法
- error: goland --build constraints exclude all Go files
- boost::container实现多态双端队列的测试程序
- 【转】DELPHI 对DICOM中的窗宽、窗位调整
- c语言中tail和head的用法,tail 与head用法
- 适合android手机 pdf阅读器,手机版pdf阅读器有哪些 这五款软件一定有适合你的
- Gallery3d 学习笔记(14)
- 黑苹果睡眠问题(仅适用自己的配置)
- 《MATLAB 神经网络43个案例分析》:第14章 基于SVM的数据分类预测——意大利葡萄酒种类识别
- 升级LTS长期支持版|奇点云数据云平台发布DataSimba R3.8
- windows xp快捷键
- c语言的矩阵怎么编程,关于矩阵的编程
- English—句子
- 积分无法积,用估值后再使用连续函数介值定理_20160430
- 好记性不如烂笔头--校园网下Parsec远程控制软件的使用
- 股票 价格 定价 资料收集
- 速卖通新手玩家到底应该怎样使用直通车?它又能给商家带来什么?
- Alcatel OmniSwitch 重置密码
- 【数据库】关系数据库
热门文章
- 记录一次 Ubuntu 16.04 path 错误救机
- 步步为营-49-视图
- SQLite 增删改查
- Android实例-屏幕操持常亮(XE8+小米2)
- UiAutomator喷射事件的源代码分析
- 【转】C#+csgl库进行OpenGL编程
- 血泪八条---给中国IT教育培训机构
- linux下解压 编译 安装,Linux 下开发环境安装配置-编译、解压、超链、
- matplotlib是python第三方库吗_python第三方库matplotlib
- python 仅保留数字_Python基本语法元素 | 语法元素分析