Scrapy框架的学习(12. scrapy中的模拟登陆，发送post请求模拟登陆)

1.在有的网站的的登录的界面上，有用户名以及输入密码的输入框

然后输入账号和密码进去，点击登录，后台就会把得到的数据发送过去，验证之后然后就登录成功了，就会跳转到

响应的登录之后的网站

2. 我们可以找到这个登录网站，可以请求这个网站，请求的时候带上所携带的from表单中的数据

然后就可以获取到登录之后的界面了

3. scrapy.Request() 方法是用来发送get()请求的，

scrapy.FormRequest()方法是来发送post请求的，在发送post请求的时候

我们要有post请求的url地址，以及post数据、还有登录之后的回调函数

4. 使用post请求的第一种方式：携带表单的数据请求post的请求url,

scrapy.FormRequest()在parse函数中编写

例如：
'''表单数据'''
post_data = dict(login="用户名",password="密码",utf8=utf8,authenticity_token=authenticity_token,commit=commit)'''表单请求'''yield scrapy.FormRequest("post请求网址",formdata=post_data,callback='登录之后的回调函数')
5. 使用post请求的第二方式，

如果表单里面有 action对应的网址，只要找到的输入框和密码框的，然后进行登录

方法 scrapy.FormRequest.from_response(response,formdata={})

from_response的意思就是从响应中找到from表单进行登录，自动找到表单进行登录
yield scrapy.FormRequest.from_response(response,  # 自动的从response中寻找from表单'''发送的表单里面的键，和网页上的标签要一致'''formdata={"login": "用户名", "password": "密码"},callback='对应的回调函数')
如果有多个表单，我们可以看from_response()的源码，

通过里面参数例如，formname、formid等就可以帮助我们定义form表单的位置，也可以通过formxpath()的方式

来定为位置

Scrapy框架的学习(12. scrapy中的模拟登陆，发送post请求模拟登陆)相关推荐

Scrapy框架的学习(10.Scrapy中的模拟登陆(使用cookie模拟登陆))
1. 为什么需要模拟登陆? 获取cookie,能够爬取登陆后的页面的数据 2.使用cookie模拟登陆的场景 (1) cookie过期时间很长,常见于一些不规范的网站 (2) 能在cookie过期之前 ...
Scrapy框架的学习(9.Scrapy中的CrawlSpider类的作用以及使用，实现优化的翻页爬虫)
1.CrawlSpider类通过一些规则(rules),使对于链接(网页)的爬取更具有通用性, 换句话说,CrawlSpider爬虫为通用性的爬虫, 而Spider爬虫更像是为一些特殊网站制定的爬虫. ...
Scrapy框架的学习(2.scrapy入门，简单爬取页面，并使用管道(pipelines)保存数据)
上个博客写了: Scrapy的概念以及Scrapy的详细工作流程 https://blog.csdn.net/wei18791957243/article/details/86154068 1.sc ...
Scrapy框架的学习(4.scrapy中的logging模块记录日志文件以及普通的项目中使用)
logging模块使用为了让我们自己希望输出到终端的内容能容易看一些: 我们可以在setting中设置log级别在setting中添加一行(全部大写):LOG_LEVEL = "WARN ...
Scrapy框架的学习(8.scrapy中settings.py里面配置说明以及怎样设置配置或者参数以及怎样使用)
1.settings.py里面的参数说明每个参数其对应的官方得文档的网址 # -*- coding: utf-8 -*-# Scrapy settings for tencent project # ...
Scrapy框架的学习(11.scrapy框架中的下载中间件的使用(DownloaderMiddlewares))
1.Downloader Middlewares (下载中间键):引擎会先把Requets对象交给下载中间键再然后交给Downloader 2.使用方法: (1) 编写一个Downloader Mid ...
Scrapy框架的学习(1.scrapy的概念以及scrapy的工作流程)
scrapy的概念 1.为什么要学习Scrapy? 因为会让我们的爬虫更快.更强 2.什么是scrapy? (1) Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,我们只需要实现 ...
scrapy框架_Python学习之Scrapy框架
爬虫界江湖地位No.1 说起Python,不得不说到它的爬虫应用,由于Python的短小精悍,用它来开发爬虫应用是最合适不过了,基于Python抓取网页的库有很多,例如requests,beatifu ...
Scrapy框架的学习（一）
1. Scrapy概述 1. 为什么要学习scrapy框架爬虫必备的技术,面试会问相关的知识. 让我们的爬虫更快更强大.(支持异步爬虫) 2. 什么是Scrapy? 异步爬虫框架:Scrapy是一个 ...

Scrapy框架的学习(12. scrapy中的模拟登陆，发送post请求模拟登陆)

Scrapy框架的学习(12. scrapy中的模拟登陆，发送post请求模拟登陆)相关推荐

最新文章

热门文章