scrapy教程

我通过一个爬取百度贴吧hello吧页面源码的简单爬虫来讲解

Scrapy架构(5+2结构)

Scrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理。
Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。
Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。
Downloader Middlewares（下载中间件）：一个可以自定义扩展下载功能的组件。
Spider Middlewares（Spider中间件）：一个可以自定扩展和操作引擎和Spider中间通信的功能组件。

一、安装scrapy

1.通过pip安装

pip install scrapy

二、创建工程

Scrapy 常用命令

步骤1：
自己指定一个目录下创建一个新工程，输入命令行
比如在E盘根目录下创建
在根目录下Shift+右键，打开PS窗口
输入命令行

scrapy startproject hello

当出现下面反应证明成功建立工程（我建立了一个hello工程）

步骤2：（该步骤也可以手工完成，这里就不说了）
在工程中产生一个scrapy爬虫
首先进入工程目录,继续输入命令行

cd hello

然后在执行如下命令(生成一个名称为baidutieba的spider)：

scrapy genspider baidutieba baidu.com

生成的baidutieba.py文件在hello文件里的spiders目录下

三、爬取百度hello吧页面源码实例编写

打开baidutieba.py文件进行编写爬取代码：
改写成如下代码

然后保存。
最后再用PS窗口命令行输入

scrapy crawl baidutieba

即如下图所示：

回车运行，最后会在hello目录下生成一个hello.txt的文件，里面就是百度贴吧hello吧页面的网页源码。

到此本次scrapy基础操作教程结束了

上一篇文章———>高响应比优先调度算法（HRRN）例题详解
下一篇文章———>正则表达式详解

scrapy基础操作教程（实例）相关推荐

新编计算机基础教程 pdf,新编计算机基础操作教程.pdf
高等院校计算机基础教育教材 (第2 版) 本书编委会编 [内容提要]本书是为计算机基础教学和计算机培训编写的基础教材.特点是基于Windows 98/2000/XP 环境,强调其实用性.先进性和可操 ...
Mac基础操作教程：Mac电脑如何在录屏时录入声音？
我们经常因为工作需要而对Mac电脑进行录屏操作,但有些新手用户录屏后发现,屏幕里没有声音,这是因为你没有打开麦克风,下面分享Mac电脑在录屏时录入声音教程. 1.点击"启动台", ...
无人机新手基础操作教程
无人机行业的快速发展使得航拍逐渐流行起来. 据本人了解无人机可以生产一些GIS数据. 1. 起飞与降落练习远离无人机,解锁飞控,缓慢推动油门等待无人机起飞,这就是起飞的操作步骤.其中推动油门一定 ...
keyshot怎么贴logo_KeyShot基础操作教程，如何复制和粘贴以及编辑材质
KeyShot基础操作教程,如何复制和粘贴以及编辑材质 KeyShot是一款非常好用的产品渲染软件,为什么它能够产生相片般真实的3D渲染影像,这是跟它本身的软件工具以及丰富的材质库支撑有关的,你想用那 ...
gis导出栅格数据为什么不能tif_GIS基础操作教程（3）--点数据操作【附带练习数据】...
又到了专栏更新的时候了,接下来的几期专栏我会系统性的讲一讲GIS的基础操作.在几个月前专栏里我分享过栅格数据的平移.裁剪.镶嵌(需要的同学可以点进专栏看一看),FLOW MAP的专题制作.这期文章我想 ...
RE管理器root explorer基础操作教程
玩手机中很多操作需要用到RE管理器,还是有很多人不知道RE管理器的一些常见操作,虽然百度到几篇帖子,但是阅读起来着实费力,所以我就自己写一篇. 注意: 1,RE管理器在手机上的运行和使用需要roo ...
小米RE管理器root explorer基础操作教程(转载)
转自:http://android.tgbus.com/xiaomi/wanji/428374.shtml RE管理器(Root Explorer)是Android平台上功能最强大的文件管理器之一,但 ...
PhpSpreadsheet中文文档 | Spreadsheet操作教程实例
Spreadsheet 支持excel 函数公式使用 <?phpnamespace app# 给类文件的命名空间起个别名use PhpOffice\PhpSpreadsheet\Spreads ...
php iofactory列,PhpSpreadsheet中文文档 | Spreadsheet操作教程实例
Spreadsheet 支持excel 函数公式使用 namespace app # 给类文件的命名空间起个别名 use PhpOffice\PhpSpreadsheet\Spreadsheet; ...

scrapy基础操作教程（实例）