scrapy爬取动态网页

目标

用scrapy爬虫实现在网页 https://www.genealogy.math.ndsu.nodak.edu 中输入人名进行搜索，得到搜索结果网页内容。

步骤

观察发现搜索结果网页的url是https://www.genealogy.math.ndsu.nodak.edu/quickSearch.php，不能通过构造url获取该网页的真正信息，因此知道是动态网页。
查看网页 https://www.genealogy.math.ndsu.nodak.edu中的action，有如下html代码，发现目标action的方式是post，且需要通过form-data提交要搜索的人名。

<form action="quickSearch.php" method="post"><div style="text-align: center"><label for="searchTerms">Quick Search</label> <input name="searchTerms" type="text" size="30" maxlength="90" id="searchTerms" /> <input name="Submit" type="submit" value="Search" /><br /><span style="font-size: small"><a href="search.php">Advanced Search</a></span></div>
</form>

使用postman进行如下测试
在scrapy的spider中用如下代码提交form-data并得到响应网页内容，在函数parse_MGP中进行下一步爬取信息操作。

yield scrapy.FormRequest(url=self.start_urls[1],formdata={"searchTerms": self.searchName},callback=self.parse_MGP
)

总结

不能通过构造URL获取的网页是动态网页，需要用动态网页的爬取方法。
通过观察网页的source文件，找到目标action的提交方式。
用postman进行测试。
用scrapy.FormRequest()提交有formdata的post请求。

scrapy爬取动态网页相关推荐

scrapy爬取动态网页_动漫爱好者必会的Scrapy爬虫框架之———— 多页爬取图片的信息...
ok, 接下来我们要将怎样多页爬取图片的信息,以及如何下载图片. 知识点涉及到: 自动的翻页爬取多个parse 之间的request 传递构建图片爬取的通道さあ!始めようぜ! 首先我们要爬取的网 ...
scrapy爬取动态网页_scrapy_splash 设置随机请求头
本文为霾大:scrapy_splash 爬取 js 加载网页初体验zhuanlan.zhihu.com 的补充在上面的文章中我们仅仅是初步完成了 scrapy_splash 的简单使用接下来我 ...
scrapy爬取动态网页_scrapy_splash 爬取 js 加载网页初体验
最近打算学习 scrapy_splash 来爬取 js 加载的动态网页 selenium 实在太慢了,不在迫不得已的情况下并不推荐使用下面,直接开始吧目标网站 JD 某商品环境需求已安装 do ...
chrome动态ip python_用Python爬虫爬取动态网页，附带完整代码，有错误欢迎指出！...
系统环境: 操作系统:Windows8.1专业版 64bit Python:anaconda.Python2.7 Python modules:requests.random.json Backgro ...
python动态页面元素爬取_爬取动态网页python+Web kit
上一篇文章爬取动态网页python+selenium+webdriver介绍了爬取动态网站的一种模拟浏览器的方法,该方法的优劣也很明显优: 可以模拟任何人的操作,输入账号密码,点击登录等等操作劣: ...
Python之网络爬虫（selenium爬取动态网页、爬虫案例分析、哈希算法与RSA加密）
文章目录一.selenium爬取动态网页二.爬虫案例分析三.哈希hash算法与RSA加密一.selenium爬取动态网页 1.动态网页认知爬虫其实就是在模仿浏览器的行为应对要多次数据的交互 ...
Python爬虫爬取动态网页
系统环境: 操作系统:Windows8.1专业版 64bit Python:anaconda.Python2.7 Python modules:requests.random.json Backgro ...
【爬虫】Selenium爬取动态网页的base64图片
文章简介 Selenium爬取动态网页的base64图片,并解决页面完整加载缓慢,base64字符串的获取和格式转码,一些页面不存在,部分照片无法加载等问题.后附源码. 目录 1,需求 2,环境和使用 ...
java爬虫系列（二）——爬取动态网页
准备工作项目地址网页解析工具地址启动网页解析器根据系统选择所需文件指定端口号启动工具项目配置 seimi.properties SeimiAgentDemo.java 分析原网页代码 Bo ...
python爬取动态网页图片
爬取某知名网站图片(爬取动态网页) python爬取动态网页图片 python爬取动态网页图片环境: python3.pycharm 库: requests.urllib.json 思路: 1.分析 ...

scrapy爬取动态网页

scrapy爬取动态网页

目标

步骤

总结

scrapy爬取动态网页相关推荐

最新文章

热门文章