Scrapy 豆瓣搜索页爬虫
Scrapy 豆瓣搜索页爬虫
使用scrapy爬虫框架对豆瓣图书搜索结果进行爬取
Scrapy
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架
可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序
它提供了多种类型爬虫的基类,如BaseSpider、CrawlSpider等
主要组件
Scrapy框架主要由五大组件组成
调度器(Scheduler)
调度器,说白了把它假设成为一个URL的优先队列,由它来决定下一个要抓取的网址是什么,同时去除重复的网址,用户可以自己的需求定制调度器。下载器(Downloader)
下载器,是所有组件中负担最大的,它用于高速地下载网络上的资源
Scrapy的下载器代码不会太复杂,但效率高,主要的原因是Scrapy下载器是建立在twisted这个高效的 异步模型上的爬虫(Spider)
爬虫,是用户最关心的部份。用户定制自己的爬虫(通过定制正则表达式等语法),用于从特定的网页中提取自己需要的信息,即所谓的实体(Item)。 用户也可以从中提取出链接,让Scrapy继续抓取下一个页面
实体管道(Item Pipeline)
实体管道,用于处理爬虫(spider)提取的实体(Item)
主要的功能是持久化实体、验证实体的有效性、清除不需要的信息Scrapy引擎(Scrapy Engine)
Scrapy引擎是整个框架的核心
它用来控制调试器、下载器、爬虫。实际上,引擎相当于计算机的CPU,它控制着整个流程
数据流(Data flow)
Scrapy中的数据流由执行引擎控制,其过程如下:
- 引擎打开一个网站,找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)
- 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度
- 引擎向调度器请求下一个要爬取的URL
- 调度器返回下一个要爬取的URL给引擎,引擎将URL通过下载中间件(request方向)转发给下载器(Downloader)
- 一旦页面下载完毕,下载器生成一个该页面的Response,并将其通过下载中间件(response方向)发送给引擎
- 引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理
- Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎
- 引擎将(Spider返回的)爬取到的Item给Item Pipeline,将(Spider返回的)Request给调度器
- (从第二步)重复直到调度器中没有更多地request,引擎关闭该网站
简单使用
创建项目
scrapy startproject xxx
创建爬虫scrapy genspider xxx(爬虫名) xxx.com (爬取域)
生成文件scrapy crawl xxx -o xxx.json (生成json/csv文件)
运行爬虫scrapy crawl XXX
列出所有爬虫scrapy list
scrapy项目目录结构
通过命令scrapy startproject tutorial
创建一个新的项目tutorial
将会创建包含下列内容的 tutorial
目录
tutorial/ scrapy.cfg # 项目的配置文件tutorial/ # 该项目的python模块之后将在此加入代码__init__.pyitems.py # 项目中的item文件pipelines.py # 项目中的pipelines文件settings.py # 项目的设置文件spiders/ # 放置spider代码的目录__init__.py...
使用scrapy爬取豆瓣搜索页
分析
https://search.douban.com/movie/subject_search?search_text={search_text}&cat=1002&start={start}
search_text 搜索关键字
cat 搜索类别
start 开始的条数
url规则可以适用到图书电影搜索页面,后面的爬取也一样
爬取后发现页面信息都无法获取,但是可以找到有个window.__DATA__
猜测数据都被加密成了这串字符串
一轮百度发现有大佬把加密的js代码提取出来了!
于是直接给出大佬的链接豆瓣读书搜索页的window.__DATA__的解密
解决了这个问题其他的就很好爬取了
代码
完整代码见github仓库
提取出的js在third_party/main.js
class DoubanBookSearchSpider(scrapy.Spider):name = 'douban_book_search'allowed_domains = ['douban.com']def __init__(self,keyword=None,start=None,*args, **kwargs):super(DoubanBookSearchSpider, self).__init__(*args, **kwargs)self.keyword = keywordself.start = startself.start_urls.append(f'https://search.douban.com/book/subject_search?search_text={self.keyword}&cat=1001&start={self.start}')def parse(self, response):r = re.search('window.__DATA__ = "([^"]+)"', response.text).group(1)# 导入jsfile_path = pathlib.Path.cwd() / 'third_party/main.js'with open(file_path, 'r', encoding='gbk') as f:decrypt_js = f.read()ctx = execjs.compile(decrypt_js)data = ctx.call('decrypt', r)for item in data['payload']['items']:if item.get('rating', None):cover_url = item['cover_url']score = item['rating']['value']score_num = item['rating']['count']url = item['url']abstract = item['abstract']title = item['title']id = item['id']yield DouBanBookSearchItem(cover_url=cover_url,score=score,score_num=score_num,url=url,abstract=abstract,title=title,id=id)
参考
爬虫框架Scrapy个人总结(详细)熟悉
架构概览
Scrapy爬虫框架,入门案例(非常详细)
豆瓣读书搜索页的window.__DATA__的解密
Scrapy 豆瓣搜索页爬虫相关推荐
- 京东搜索页爬虫商品店铺信息
京东搜索页爬虫商品店铺信息 1.写好整个爬虫框架 2.用requests库获取网页源代码 3.正则表达式获取需要的相关信息 4.把获取的信息写入excel中并保存到电脑 完整代码 工作需要需获取京东商 ...
- 爬虫爬取豆瓣的读书搜索页 java+jsoup+selenium
图书搜索页面: https://book.douban.com/subject_search?search_text=9787535681942&cat=1001 以前写的爬虫使用发现不能用了 ...
- python爬取豆瓣电影top250_Python爬虫 - scrapy - 爬取豆瓣电影TOP250
0.前言 新接触爬虫,经过一段时间的实践,写了几个简单爬虫,爬取豆瓣电影的爬虫例子网上有很多,但都很简单,大部分只介绍了请求页面和解析部分,对于新手而言,我希望能够有一个比较全面的实例.所以找了很多实 ...
- Scrapy豆瓣爬虫 爬取用户以及用户关注关系
文章目录 明确任务 1.新建mysql数据库以及数据表 1.1 创建数据库 1.2 创建用户信息表users 1.3 创建用户关注表user_follows 笔记一: mysql中utf8与utf8m ...
- 豆瓣读书搜索页的window.__DATA__的解密
上次发了破解知乎模拟登陆的最新版之后,很多人看了都说好,唯独没人给我点赞,以后还是麻烦大家,如果看到对你有用的文章,可以点点赞,支持下作者哈. 还有,知乎模拟登陆的代码已给出,github地址为:ht ...
- Scrapy框架的学习(9.Scrapy中的CrawlSpider类的作用以及使用,实现优化的翻页爬虫)
1.CrawlSpider类通过一些规则(rules),使对于链接(网页)的爬取更具有通用性, 换句话说,CrawlSpider爬虫为通用性的爬虫, 而Spider爬虫更像是为一些特殊网站制定的爬虫. ...
- Java爬虫爬取 天猫 淘宝 京东 搜索页和 商品详情
Java爬虫爬取 天猫 淘宝 京东 搜索页和 商品详情 先识别商品url,区分平台提取商品编号,再根据平台带着商品编号爬取数据. 1.导包 <!-- 爬虫相关Jar包依赖 --><d ...
- php 抓取京东搜索页,京东商品列表页爬虫采集方法 - 八爪鱼采集器
采集场景 在京东搜索页 https://search.jd.com/Search 输入关键词搜索,采集搜索后得到的多个商品列表数据. 鼠标放到图片上,右键,选择[在新标签页中打开图片]可查看高清大图 ...
- 4.基于scrapy的实时电影爬虫开发
在前面搭建好了前后台的基本框架之后,就可以使用websocket+scrapy来开发和用户交互的实时爬虫系统了.基本的思路为:当用户在前台发送请求之后,通过websocket的方式来进行前后台交互,并 ...
最新文章
- 移动互联网用户的心理需求【转载】
- RFC 4303--ESP
- Linux系统普通用户切换省略输入用户名密码
- 第十五篇、程序返回前台的时间差(常用于显示广告)
- python重写和装饰器_python装饰器
- python支持向量机回归_机器学习实战-支持向量机原理、Python实现和可视化(分类)...
- nodejs框架微商个人相册多端小程序源码
- 文件创建_LAMMPS data文件创建工具--moltemplate
- 一个简单的WeakList的实现
- VMware Ubuntu虚拟机卡顿慢 解决方法大全
- 超级强大服务器终端,告别 XShell 打造强大的Windows 终端
- word文档目录样式如何设置
- matlab中的index函数的使用方法,index函数语法说明及应用实例
- 怎样通过其他下载工具下载某盘文件
- .NET平台C/S架构应用程序开发核心技术总结(MyKTV点歌系统案例分析)
- [转载]kindle屏幕出现小黑点,怎么办?
- 码元,码元速率,波特率,比特率,数据率的理解
- Unity中键名称与键位对应一览
- 【Excel VBA】神操作之命名单元格或区域(二)——引用命名单元格或区域
- (申请加精)你所不知道的奶粉秘密(2)------转自天涯
热门文章
- 遥控车钥匙算法之KeeLoq
- php-ews发送邮件,node.js 基于 STMP 协议和 EWS 协议发送邮件
- SpringBoot发送QQ邮件图片显示不出来
- vscode 终端运行yarn 报错 “因为在此系统上禁止运行脚本”
- FPGA概念理解之:ZYNQ、PS、PL、APU、ARM、SOC、URAT、GPIO...
- 使用CRF++实现命名实体识别
- IT大四考研还是就业?2022考研内卷有多严重
- 投资理财--熊市笨小孩式交易75-25
- 常见文件类型的图标介绍
- matlab景深合成算法,科普向 篇五:Helicon Focus让景深合成变简单!