2019 7.14学习笔记

发送POST请求：

有时候我们想要在请求数据的时候发送post请求，那么这时候需要使用Request的子类FormRequest来实现，如果想要在爬虫一开始的时候就发送POST请求，那么需要在爬虫类中重写 start_requests(self)方法，并且不再调用start_url。

模拟登录人人网：

1.想要发送POST请求，推荐使用“scrapy.FormRequests”方法，可以方便的指定表单数据

2.如果想在爬虫一开始的时候就发送POST请求，那么应该重写“start_requests”方法。在这个方法中发送post请求。

renren_spider.py

import scrapy
class RenrenSpiderSpider(scrapy.Spider):name = 'renren_spider'allowed_domains = ['renren.com']start_urls = ['http://renren.com/']def start_requests(self):url="http://www.renren.com/PLogin.do"data={"email":"970138074@qq.com","password":"pythonspider"}request=scrapy.FormRequest(url,formdata=data,callback=self.parse_page)yield requestdef parse_page(self,response):# with open('renren.html','w',encoding='utf-8')as fp:#     fp.write(response.text)request=scrapy.Request(url='http://www.renren.com/880151247/profile',callback=self.parse_profile)yield requestdef parse_profile(self,response):with open('dp.html','w',encoding='utf-8')as fp:fp.write(response.text)

模拟登录豆瓣网

因为教程中的验证码还是字母验证码而豆瓣网已经更新为滑动验证码所以不能继续进行了

转载于:https://www.cnblogs.com/jyjoker/p/11192584.html

2019 7.14学习笔记相关推荐

2019新冠状病毒学习笔记
最近这波疫情,重现当年初中非典时期,甚至愈演愈烈,与之前初中时的封校住宿学习不同,已经工作的今天和太多的互联网信息大爆炸让我们有些焦虑,特别是,作为学习生物的人,我们也感到无能为力.官方媒体的科普,已 ...
一个自由泳爱好者从2017年到2019年的学习笔记
打腿把注意力调整到脚部,尽量不要让他打出水面,因为在空气中大腿完全是无用功,但是如果只是脚跟出水一点,倒也没什么关心,但是主观上,要控制一下,如果你听到你的打腿是"咚咚咚咚"这样 ...
Kubernetes1.14 学习笔记二: 安装K8S
一.安装rpm 包 rpm 制作过程参考上一节(https://blog.csdn.net/yulei_qq/article/details/89205022) 运行如下命令: [root@k8s x ...
Qt5.15.2+VLC3.0.14学习笔记（六）Qt Player测试（官方示例 vlc-qt+mingw_64版）
前记: Qt Player是官方源码中的一个示例,好像已经很久没有更新了,今天运行测试了下,需要修改部分内容才能运行 vlc-3.0.14源码下载地址:https://code.videolan.or ...
2019.03.10----LINUX学习笔记
转载于:https://blog.51cto.com/13662944/2362893
2019.4.26学习笔记（路由器router）
路由器设置两台pc和两台路由连接注:因为pc和路由器看做相同设备,所以用交叉线来连接. 1 两台电脑通过交叉线连接到路由器上面. 设置 1第一台电脑配置ip和网关 2第一台路由器配置进入,选ye ...
4.14 | 学习笔记
1."双阶乘的质因数个数" 之前想要开数组,把所有1到10000的双阶乘值都存好,然后再写一个函数算出质因子个数,最后悲剧了换个思路,每个因数中分别有多少个质因数m,相加就好啦 ...
2019 6.30学习笔记
对一个列表里的字典元素进行value值提取并组成新的一个列表 data=[{"city":"北京","min":2},{"city ...
软件工程第一章绪论————（2019.12.27学习笔记）
第一章绪论第一节软件工程概念的提出与发展 1. 软件危机 1968年,北大西洋公约组织(NATO)在联邦德国的国际学术会议创造软件危机(Software crisis)一词.用来描述因为软件生产率, ...

2019 7.14学习笔记

2019 7.14学习笔记相关推荐

最新文章

热门文章