python3爬虫系列20之反爬需要登录的网站三种处理方式

1.前言

在上一篇文章中，讲了python3爬虫系列19之反爬随机 User-Agent 和 ip代理池的使用，实际上这是属于反爬中的一个了，在数据采集的过程中，基本上经常遇到这些情况，所以，如果要写持久型采集方案，多要采用这些方式。

在以往的案例中，我们都是爬那些不需要登录或者登陆要求不高的网站。

那么当你在爬某些网站的时候，需要你登录才可以获取数据，怎么办？

登录的常见方法无非是这两种

1、让你输入帐号和密码登录
2、让你输入帐号密码+验证码登录

今天先说第一种问题的处理办法~

第一招Cookie法：requests直接携带cookies信息

简单来说
你平常在网站的时，你只要登录一次，就可以一直看到你想要的内容，过了一阵子才需要再次登录。或者下次打开仍然在登录状态中的？

因为就是每一个使用这个网站的人，服务器都会给他一个 Cookie，那么下次你再请求数据的时候，你顺带把这个 Cookie 传过去，服务器一看有登录过直接返回数据给他。

【Cookie 的时长周期是服务器那边决定的，有的时候过去了就需要重新登录。】

拿去某个网站的个人Cookie 信息？

首先使用你的账号密码，登录该爬虫目标网站，然后

python3爬虫系列20之反爬需要登录的网站三种处理方式相关推荐

python3爬虫系列19之反爬随机 User-Agent 和 ip代理池的使用
python3爬虫系列19之随机User-Agent 和ip代理池的使用我们前面几篇讲了爬虫增速多进程,进程池的用法之类的,爬虫速度加快呢,也会带来一些坏事!!! 1. 前言比如随着我们爬虫的速度 ...
python3爬虫系列16之多线程爬取汽车之家批量下载图片
python3爬虫系列16之多线程爬取汽车之家批量下载图片 1.前言上一篇呢,python3爬虫系列14之爬虫增速多线程,线程池,队列的用法(通俗易懂),主要介绍了线程,多线程,和两个线程池的使用. ...
Python爬虫入门教程 64-100 反爬教科书级别的网站-汽车之家，字体反爬之二
文章目录说说这个网站今天要爬去的网页反爬措施展示爬取关键信息找关键因素处理汽车参数关键字破解入库操作小扩展:格式化JS 思路汇总关注公众账号说说这个网站汽车之家,反爬神一般的存 ...
python3爬虫系列之使用requests爬取LOL英雄图片
我们最终目的就是要把抓取到的图片保存到本地,所以先写一个保存图片的方法(可以保存任何二进制文件).注意在windows下文件命名包含/ | ?可能会发生错误,有的英雄皮肤名称确实包含/,所以这里使用正 ...
python3爬虫系列21之selenium自动化登录163邮箱并读取未读邮件内容
python3爬虫系列21之selenium自动化登录163邮箱并读取未读邮件内容 1.前言前面在 python3爬虫系列20之反爬需要登录的网站三种处理方式中介绍的第三种方法,使用自动化测试工具s ...
python3爬虫系列24之重庆微博地铁客运量爬取且可视化输出
python3爬虫系列24之重庆微博地铁客运量爬取和可视化 1.前言在python3爬虫系列23之selenium+腾讯OCR识别验证码登录微博且抓取数据里面,我们既是又搞selenium自动化,又 ...
python3爬虫系列03之requests库：根据关键词自动爬取下载百度图片
python3爬虫系列03之requests库:根据关键词自动爬取下载百度图片 1.前言在上一篇文章urllib使用:根据关键词自动爬取下载百度图片当中,我们已经分析过了百度图片的搜索URL的变化 ...
python3爬虫系列08之新版动态智联招聘并存取数据库进行可视化分析
python3爬虫系列08之新版动态智联爬取和存取数据库进行可视化分析本篇是面向新版动态智联爬虫,数据存储到Mysql数据库,最后使用pyecharts读取并可视化分析. 在这之前,上一篇说的是 p ...
Python爬虫六：字体反爬处理（猫眼+汽车之家）-2018.10
环境:Windows7 +Python3.6+Pycharm2017 目标:猫眼电影票房.汽车之家字体反爬的处理 ---全部文章: 京东爬虫 .链家爬虫.美团爬虫.微信公众号爬虫.字体反爬.Djang ...
python3爬虫系列23之selenium+腾讯OCR识别验证码登录微博且抓取数据
python3爬虫系列23之selenium+腾讯OCR识别验证码登录微博且抓取数据 1.前言上一篇是一个 python3爬虫系列22之selenium模拟登录需要验证码的微博且抓取数据, 我们是首 ...

python3爬虫系列20之反爬需要登录的网站三种处理方式

python3爬虫系列20之反爬需要登录的网站三种处理方式

1.前言

第一招Cookie法：requests直接携带cookies信息

python3爬虫系列20之反爬需要登录的网站三种处理方式相关推荐

最新文章

热门文章