Python爬虫教程:requests模拟登陆github
1. Cookie 介绍
HTTP 协议是无状态的。因此,若不借助其他手段,远程的服务器就无法知道以前和客户端做了哪些通信。Cookie 就是「其他手段」之一。 Cookie 一个典型的应用场景,就是用于记录用户在网站上的登录状态。
- 用户登录成功后,服务器下发一个(通常是加密了的)Cookie 文件。
- 客户端(通常是网页浏览器)将收到的 Cookie 文件保存起来。
- 下次客户端与服务器连接时,将 Cookie 文件发送给服务器,由服务器校验其含义,恢复登录状态(从而避免再次登录)。
2. requests使用cookie
当浏览器作为客户端与远端服务器连接时,远端服务器会根据需要,产生一个 SessionID,并附在 Cookie 中发给浏览器。接下来的时间里,只要 Cookie 不过期,浏览器与远端服务器的连接,都会使用这个 SessionID;而浏览器会自动与服务器协作,维护相应的 Cookie。
在 requests
中,也是这样。我们可以创建一个 requests.Session
,尔后在该 Session 中与远端服务器通信,其中产生的 Cookie, requests
会自动为我们维护好。
3. POST 表单
post 方法可以将一组用户数据,以表单的形式发送到远端服务器。远端服务器接受后,依照表单内容做相应的动作。
调用 requests
的 POST 方法时,可以用 data
参数接收一个 Python 字典结构。 requests
会自动将 Python 字典序列化为实际的表单内容。例如:
import requestscs_url = 'http://httpbin.org/post' my_data = {'key1' : 'value1','key2' : 'value2' }r = requests.post (cs_url, data = my_data) print r.content
4. 实际模拟登录 GitHub 试试看
模拟登录的第一步,首先是要搞清楚我们用浏览器登录时都发生了什么。
GitHub 登录页面是 https://github.com/login 。我们首先清空浏览器 Cookie 记录,然后用 Chrome 打开登录页面。填入 Username 和 Password 之后,我们打开 Tamper Chrome 和 Chrome 的元素审查工具(找到 Network 标签页),之后点登录按钮。
在 Tamper Chrome 中,我们发现:虽然登录页面是 https://github.com/login ,但实际接收表单的是 https://github.com/session 。若登录成功,则跳转到 https://github.com/ 首页,返回状态码 200
。
而在 Chrome 的审查元素窗口中,我们可以看到提交给 session
接口的表单信息。内里包含
commit utf8 authenticity_token login password
其中, commit
和 utf8
两项是定值; login
和 password
分别是用户名和密码,这很好理解。唯独 authenticity_token
是一长串无规律的字符,我们不清楚它是什么。
POST 动作发生在与 session
接口交互之前,因此可能的信息来源只有 login
接口。我们打开 login 页面的源码,试着搜索 authenticity_token
就不难发现有如下内容:
<input name="authenticity_token" type="hidden" value="......" />
原来,所谓的 authenticity_token
是明白写在 HTML 页面里的,只不过用 hidden
模式隐藏起来了。为此,我们只需要使用 Python 的正则库解析一下,就好了。
import requests import relogin_url = 'https://github.com/login' user = 'user' //具体账号 password = 'password' //具体密码 user_headers = {'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36','Accept' : 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8','Accept-Encoding' : 'gzip','Accept-Language' : 'zh-CN,zh;q=0.8,en;q=0.6,zh-TW;q=0.4' }session = requests.Session() response = session.get(login_url, headers = user_headers) pattern = re.compile(r'<input name="authenticity_token" type="hidden" value="(.*)" />')authenticity_token = pattern.findall(response.content)[0]login_data = { 'commit' : 'Sign in', 'utf8' : '%E2%9C%93', 'authenticity_token' : authenticity_token,'login' : user, 'password' : password }session_url = 'https://github.com/session' response = session.post(session_url, headers = user_headers, data = login_data)
1. 首先,我们准备好了和 Chrome 一致的 HTTP 请求头部信息。具体来说,其中的 User-Agent
是比较重要的。
2. 仿照浏览器与服务器的通信,我们创建了一个 requests.Session
。
3. 我们用 GET 方法打开登录页面,并用正则库解析到 authenticity_token
。
4. 将所需的数据,整备成一个 Python 字典login_data
5. 最后,用 POST 方法,将表单提交到 session
接口。
6. 最终的结果经由 302
跳转,打开了( 200
)GitHub 首页.
Python爬虫教程:requests模拟登陆github相关推荐
- Python 爬虫实战,模拟登陆爬取数据
Python 爬虫实战,模拟登陆爬取数据 从0记录爬取某网站上的资源连接: 模拟登陆 爬取数据 保存到本地 结果演示: 源网站展示: 爬到的本地文件展示: 环境准备: python环境安装 略 安装r ...
- Python爬虫实现--微博模拟登陆--涉及到的知识点,python包,实现代码详解。
之前写过一篇关于爬虫的文章,其中提到了用python requests包请求网页,并用beautifulsoup解析. https://blog.csdn.net/qq_40589051/articl ...
- 利用python爬虫(part15)--cookie模拟登陆
学习笔记 文章目录 cookie模拟登陆 获取cookie 爬取我的简介 cookie模拟登陆 有的时候,我们想要抓取一个网站,但是需要先登录才能访问它,如果不输入用户名和密码,我们就会一直停留在登录 ...
- python爬虫使用selenium模拟登陆人人网
谷歌浏览器:chromedriver驱动资源下载地址: https://chromedriver.storage.googleapis.com/index.html 人人网是我们10多年前,在校学生一 ...
- python 爬虫 使用requests模拟请求后台,返回为 空 问题
个人在爬虫时遇到的问题,在此记录一下 看看请求时携带 cookie 了没 具体cookie,根据具体网页分析 import requests cookies = {...} headers = {.. ...
- python爬虫设计在哪里_《python 爬虫教程 知乎》 怎样用Python设计一个爬虫模拟登陆知乎...
<python 爬虫教程 知乎> 怎样用Python设计一个爬虫模拟登陆知乎 python 爬虫教程 知乎2020-09-23 01:45:13人已围观 怎样用Python设计一个爬虫模拟 ...
- python requests模块_Python 爬虫教程 requests 模块
经过 前边文章<简单Python爬虫教程 (一)>.简单Python爬虫教程 (二)两篇文章的学习,能写一些比较简单的爬虫了,但是还不够,这一篇文章主要介绍Requests模块,reque ...
- python github登陆_用Python模拟登陆GitHub并获取信息
最近在研究如何对搜狗搜索公众号文章进行爬取,由于需要用到Cookies,所以这回先了解下Cookies的相关知识. 搜狗的反爬有点厉害,即使我用了高匿代理,它还是会提醒我IP访问过于频繁,然后跳转验证 ...
- python模拟登陆 验证码el_python 模拟登陆github的示例
# -*- coding: utf-8 -*- # @Author: CriseLYJ # @Date: 2020-08-14 12:13:11 import re import requests c ...
最新文章
- 前端性能毫秒必争方案(一)HTTP请求
- centos7镜像加速_虚拟机 Linux CentOS7 安装Docker 详解:使用 阿里云Yum源;附加云镜像加速器...
- Deepin下tftp客户端传送升级文件失败问题分析
- node mysql 多个_使用Node.js处理多个MySQL查询
- 面试中经常会问的智力题,来看看你会做几道
- java 返回js_如何基于java或js获取URL返回状态码
- R语言-数据整形之简介
- java 金额_货币金额的计算 - Java中的BigDecimal
- haddler处理队列 netty_Netty的任务队列的Task的三种使用场景
- knewone最新分享购物网站模板
- cnPack快捷键和DelForEx快捷键冲突解决办法(cnPack快捷键设置)
- CMMI4级——几个直接与项目管理相关的PA(PP、PMC、IPM、RSKM、QPM、CAR)
- Nginx跨域配置--端口转发
- t检验的显著性p值python_Python P值
- 解决目前无法下载电驴资源的方法
- vue2和vue3关闭语法检查
- java 实现异地登陆_Java实现用户异地登陆踢人操作
- 根据url读取html文件
- python猴子吃桃问题_用Python解决猴子吃桃问题
- 爬虫 | 王者荣耀高清壁纸-多线程