【Python爬虫历程】使用Cookie来模拟登陆

前面讲了cookie的概念，现在来实战操作一下：直接访问人人网代码女神的主页

1.如果不使用cookie直接来访问请求：

在网页直接访问女神主页直接会弹到登录页面。

女神主页URL：http://www.renren.com/256450404/profile

代码示例：

#encoding:utf-8#代码女神赵洁琼主页:http://www.renren.com/256450404/profile
#人人网登录URL：http://www.renren.com/Plogin.dofrom urllib import request#1.不使用cookie访问女神主页nvshen_url="http://www.renren.com/256450404/profile"headers={'User-Agent':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4098.3 Safari/537.36"
}req=request.Request(url=nvshen_url,headers=headers)
resp=request.urlopen(req)
#print(resp.read())#将读取的内容写入html文件中with open('renren.html','w') as fp:#write函数必须写入一个str的数据类型#resp.read()读出来的是一个bytes数据类型#bytes ->decode -> str#str ->encode ->bytesfp.write(resp.read().decode('utf-8'))

获得的结果html文件打开如下图，虽然有点乱码，但是还是能看出来是登录页面，说明要想进入女神主页，还是需要登录的cookie进行请求访问才能实现。

如果出现下方中文乱码的情况，需要将保存的html文件UTF-8编码改为国标编码，GB2312之类的，如下下图所示

<meta http-equiv="Content-Type" content="text/html; charset=GB2312" />

2.使用cookie来进行访问

上一段不用cookie直接访问女神的主页，会直接弹出到登录页，现在我们尝试加上登录之后的cookie进行登录，在request header中找到cookie

代码示例

#encoding:utf-8#代码女神赵洁琼主页:http://www.renren.com/256450404/profile
#人人网登录URL：http://www.renren.com/Plogin.dofrom urllib import request#2.使用cookie访问女神主页nvshen_url="http://www.renren.com/256450404/profile"headers={'User-Agent':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4098.3 Safari/537.36",'Cookie':'anonymid=k8cdsuqh-srt2i0; depovince=GW; _r01_=1; taihe_bi_sdk_uid=bfe301037dffbe108487b72db5bf7e6b; jebe_key=6e985591-b125-4e8c-a086-6ffa0d70d0c2%7C50f2c4113393fea64a81ef35b552f056%7C1585446344625%7C1%7C1585446346127; jebe_key=6e985591-b125-4e8c-a086-6ffa0d70d0c2%7C50f2c4113393fea64a81ef35b552f056%7C1585446344625%7C1%7C1585446346129; JSESSIONID=abcB_WFVogSDj9AkbRLex; ick_login=b047f395-23df-4b1c-bc91-912f67b0f2fa; taihe_bi_sdk_session=d4e78eb86e06c00aa0c3e1487f6275a8; t=ce3517a93cf84e7d1e51f9b959106a9c6; societyguester=ce3517a93cf84e7d1e51f9b959106a9c6; id=974111896; xnsid=da5394c8; jebecookies=ab44e1ca-1fb8-4a83-8c39-9bd813f4d802|||||; ver=7.0; loginfrom=null; wp_fold=0'
}req=request.Request(url=nvshen_url,headers=headers)
resp=request.urlopen(req)
#print(resp.read())with open('renren2.html','w',encoding='utf-8') as fp:#write函数必须写入一个str的数据类型#resp.read()读出来的是一个bytes数据类型#bytes ->decode -> str#str ->encode ->bytesfp.write(resp.read().decode('UTF-8'))

打开生成的renren2.html文件，如果还是出现中文乱码，还是一样的解决办法。

【Python爬虫历程】使用Cookie来模拟登陆相关推荐

python爬虫——基于selenium用火狐模拟登陆爬搜索关键词的微博
preface:最近的任务,还是爬微博.之前的用不上,post提交,还是不太熟悉,模拟登陆不了,故换种方式,用selenium模拟登陆,从此任何登录以及js调用都是浮云,我模拟登录分分钟解决.之前的时 ...
Python爬虫学习（简单的模拟登陆（一））
可以成功的爬取我室友的微博首页 #-*-coding:utf8-*-import requests from lxml import etreecook = {"Cookie": ...
php selenium模拟登陆,python+selenium自动化实战携带cookies模拟登陆微博
首先获取cookies,使用手机扫码登录斗鱼,然后利用网页cookies保存在本地有些同学可能会问,这不是相当于自己登录了吗,还模拟什么呢,其实来说这是一次获取cookies可以使用很久 #!/us ...
使用cookie进行模拟登陆
前言流程分析代码前言有时候进行一个网页内容的爬取时会遇到密码.账号登录问题,例如我需要爬取这个网站的信息,第一步面临的就是网站的登录,那类似这种问题一般可以通过cookie进行模拟登陆进行解决 ...
【python爬虫学习】cookie模拟登陆
近期学校要求登陆一个网站学习,要计算在线时长,长时间不对这个页面进行操作的话就会停止计时.就想着能不能写个程序模拟登陆并进行一些操作. 模拟登陆的话有很多方法,因为有验证码比较麻烦,所以我是自己先登陆 ...
用爬虫实现验证码识别并模拟登陆和cookie操作、代理操作、线程池
一.模拟登陆 1.为什么要进行模拟登陆有时,我们需要爬取一些基于个人用户的用户信息(需要登陆后才可以查看) 2.为什么要需要识别验证码因为验证码往往是作为登陆请求中的请求参数被使用 3.验证码识别 ...
python输入学号返回成绩_Python模拟登陆正方教务系统并抓取成绩单
学校的教务系统是正方的,在大学期间无论是选课.报名还是查成绩,几乎都要和它打交道,上学期在积累了一定的爬虫和web知识后,我就想着用Python模拟登陆教务系统,实现在命令行里方便地进行成绩或课表的查 ...
Python 淘宝系列(三)：模拟登陆成功后获取购物车信息
http://my.oschina.net/u/811744/blog/192604(本文的转载地址) ================================================ ...
淘宝爬虫实战---requests库实现模拟登陆模块
淘宝网---爬虫 (一).requests库实现淘宝网模拟登陆最近想要写一个淘宝网的爬虫,具备模拟登陆.代理IP池.根据关键词爬取搜索页面商品数据,第一个目标就是淘宝的模拟登陆,不得不说,淘宝的用户 ...
Python爬虫学习之API与模拟ajax请求
API的使用 --通过API向服务器请求数据优点:简单直接,高效率地批量爬取:解决动态网页的爬取. 缺点:通过API的缺点是有些网站会限制API调用的次数和频率,用户需要付费来升级成高级用户来获取更 ...

【Python爬虫历程】使用Cookie来模拟登陆

1.如果不使用cookie直接来访问请求：

2.使用cookie来进行访问

【Python爬虫历程】使用Cookie来模拟登陆相关推荐

最新文章

热门文章