Python爬虫进行Cookie登录

不太喜欢说废话，直接开始。

一、首先找到发送登录请求（post或get）的url：

可以用抓包工具来进行捕捉，我用的工具是fiddler。fidder的安装及使用方法大家自行百度。这里假设大家已经安装成功并且会使用该工具。（还是提醒一点吧，此工具与其他的工具有点不同，代理端口是8888，而不是8008）

当然也可以不用抓包工具，用浏览器的F12功能也可以看见：

首先，以一个需要登录之后进行操作的网站为例，比如我们学校的教务管理系统，你们可以试试自己学校的。

佛了，用的get方法，看得到了网址。

二、获得header：

很多网站不给header不能访问得到html源码，比如www.baidu.com就不可以，所以我们要组建header

此两项内容即可。

三、登录之后才能访问的网址

登录成功之后显示的网站是只有登录成功之后才能访问的，我们以此来证明访问是否成功，这个就比较简单了，大家正常登录教务系统，然后把网址复制即可得到。

四、代码实现

from urllib import request,parse
import urllib
#以教务管理系统为例
#登录请求的url，需要用抓包工具找到真正处理请求的网址
Url_beforLogin='http://xxx/teachweb/Login.aspx'
#必需登录后才能操作的网址
Url_afterLogin='http://xxxx/index1.aspx'
headers={'User-Agent':r'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0','Connection':'keep-alive'
}
value={#写自己的用户名密码'username':'xxxxx13','password':'xxxxxxxxx8AE1xxxC1x4','role':'student'
}
postdata=urllib.parse.urlencode(value).encode()
#保存cookie到本地
import http.cookiejar,urllib.request
firename="cookietochangli.txt"
cookie=http.cookiejar.MozillaCookieJar(firename)
handler=urllib.request.HTTPCookieProcessor(cookie)
opener=urllib.request.build_opener(handler)req=urllib.request.Request(Url_beforLogin,postdata,headers)
try:response = opener.open(req)
except urllib.error.URLError as e:print(e.reason)
#保存
cookie.save(ignore_discard=True, ignore_expires=True)
for item in cookie:print('Name ='+ item.name)print('Value ='+ item.value)
#使用cookie登陆get_url
get_request = urllib.request.Request(Url_afterLogin,headers=headers)
get_response = opener.open(get_request)
#看看是不是登录之后的页面的html码，是则成功
print(get_response.read().decode())

五、反复用cookie登录

读取刚才保存的cookie文件即可

import urllib.request, urllib.parse
import http.cookiejar
firename="cookietochangli.txt"
cookie=http.cookiejar.MozillaCookieJar()
cookie.load(firename,ignore_expires=True,ignore_discard=True)
handler=urllib.request.HTTPCookieProcessor(cookie)
opener=urllib.request.build_opener(handler)
response=opener.open("http://jwgl.cust.edu.cn/teachweb/index1.aspx")
print(response.read().decode('utf8'))

注意，由于session有20分钟的过期时间，所以，同一份cookie文件，只能20分钟内有效，可以反复登录，而标题4的代码重复运行不管多少时间都是没问题的，因为每次都是一个新的session。

Python爬虫进行Cookie登录相关推荐

python爬虫-使用cookie登录
前言: 什么是cookie? Cookie,指某些网站为了辨别用户身份.进行session跟踪而储存在用户本地终端上的数据(通常经过加密). 比如说有些网站需要登录后才能访问某个页面,在登录之前,你想 ...
python获取登录后的cookie_python爬虫使用cookie登录详解
前言: 什么是cookie? Cookie,指某些网站为了辨别用户身份.进行session跟踪而储存在用户本地终端上的数据(通常经过加密). 比如说有些网站需要登录后才能访问某个页面,在登录之前,你想 ...
Python爬虫--人人网模拟登录cookie（四）
文章目录模拟登录一.人人网模拟登录 1.1 验证码识别 1.2 发送post请求 1.3 模拟登录cooki操作 1.4 cookie 1. 手动cookie处理 2. 自动处理二.代理讲解总 ...
python爬虫分析模拟登录时会变的参数_Python爬虫之urllib模拟登录及cookie的那点事...
在web sprider crawl过程中,许多网站都需要登录后才能访问,一般如果我们不用爬虫框架的前提下,常规用的就两个库 ,urllib库和requests库,本文将用最基础的urllib库,以 ...
利用python爬虫(part15)--cookie模拟登陆
学习笔记文章目录 cookie模拟登陆获取cookie 爬取我的简介 cookie模拟登陆有的时候,我们想要抓取一个网站,但是需要先登录才能访问它,如果不输入用户名和密码,我们就会一直停留在登录 ...
python爬虫淘宝登录_python爬虫实现模拟淘宝登录
就算所有人都不支持你.这条路会很曲折,你也会一度认为是不是自己选错了,但只要坚持,就算最后没有成功,但努力了就不会有遗憾. python爬虫模拟淘宝登录小贴士这个爬虫和搜索引擎的爬虫是有区别的.搜 ...
python爬虫淘宝登录_淘宝的模拟登录（python3+selenium）
淘宝登录爬数据的前提是要先登录,那么先来说怎么使用python3+selenium登录淘宝的. 一.登录前的准备工作关于一开始做登录时,一直会出现滑块,这个滑块怎么滑都通过不了,后来才知道是淘宝有 ...
python爬虫之cookie方式自动登录巴比特网
最近打算抓取公司内部PPT模板库中的PPT,发现被各种安全屏蔽.因为好久没写程序了,因此写几个例子回顾下基本的爬虫知识目标网址巴比特的登录页面 http://8btc.com/member.php? ...
Python爬虫10-Selenium模拟登录
目录 10.1Selenium和PhantomJS和headless-chrome 10.1.1Selenium的概念和安装 10.1.2浏览器的选择和安装 10.2Selenium和PhantomJ ...

Python爬虫进行Cookie登录

Python爬虫进行Cookie登录相关推荐

最新文章

热门文章