scrapy框架初识02

基于Spider的全站数据抓取

五大核心组件：

请求传参

图片数据爬取之ImagesPipeline：

基于Spider的全站数据抓取

- 就是将网站中某板块下的全部页码对应的页面数据进行抓取

- 需求：爬取 https://pic.netbian.com/4kmeinv/的照片的名称

- 实现方式： - 将所有页面的url添加到start_urls列表（不推荐）

- 自行手动进行请求发送（推荐）

- 手动请求发送：

- yield scrapy.Request(url,callback)

#爬虫文件中
import scrapyclass GirlSpider(scrapy.Spider):name = 'girl'#allowed_domains = ['www.xxx.com']start_urls = ['https://pic.netbian.com/4kmeinv/']#生成一个通用的url模板(不可变）url='https://pic.netbian.com/4kmeinv/index_%d.html'page_num=2def parse(self, response):li_list=response.xpath('//ul[@class="clearfix"]/li')for li in li_list:name=li.xpath('./a/b/text()').extract_first()if self.page_num<=11: #分页操作new_url = format(self.url%self.page_num)#手动请求发送：callback回调函数是专门用作于数据解析self.page_num+=1yield scrapy.Request(url=new_url,callback=self.parse)

五大核心组件：

引擎(Scrapy) ：用来处理整个系统的数据流处理, 触发事务(框架核心)

调度器(Scheduler) ：用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回.

下载器(Downloader) :用于下载网页内容, 并将网页内容返回给蜘蛛

爬虫(Spiders): 爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体 (Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面

项目管道(Pipeline) :负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。

1.spider中的url被封装成请求对象交给引擎(每一个对应一个请求对象)

2.引擎拿到请求对象之后,将全部交给调度器

3.调度器闹到所有请求对象后,通过内部的过滤器过滤掉重复的url,最后将去重后的所有url对应的请求对象压入到队列中,随后调度器调度出其中一个请求对象,并将其交给引擎

4.引擎将调度器调度出的请求对象交给下载器

5.下载器拿到该请求对象去互联网中下载数据

6.数据下载成功后会被封装到response中,随后response会被交给下载器

7.下载器将response交给引擎

8.引擎将response交给spiders

9.spiders拿到response后调用回调方法进行数据解析,解析成功后生成item,随后spiders将item交给引擎

10引擎将item交给管道,管道拿到item后进行数据的持久化存储

请求传参

（需要将在不同解析方法中解析到的数据封装到同一个iterm当中）

- 使用场景：如果爬取解析的数据不在同一张页面中。（深度爬取）

例如：比如说我们请求到一个页面https://pic.netbian.com/4kmeinv/可以拿到这些图片的详情页的网址，但是还想对它的详情页里面的数据进行抓取。即爬去解析的数据在不同页面中。

需求：在第一个页面获取每张图的详情地址，然后进入详情页获取图片介绍。

#爬虫文件的代码
import scrapy
from sgirl.items import SgirlItemclass GirlSpider(scrapy.Spider):name = 'girl'#allowed_domains = ['www.xxx.com']start_urls = ['https://pic.netbian.com/4kmeinv/']url = 'https://pic.netbian.com/4kmeinv/index_%d.html'page_num = 1
#详情页面解析def parse_detail(self,response):item=response.meta['item']name=response.xpath('//*[@id="main"]/div[2]/div[1]/div[1]/h1/text()').extract_first()item['name']=nameyield item
#首页数据解析def parse(self, response):li_list = response.xpath('//*[@id="main"]/div[3]/ul/li')for li in li_list:item = SgirlItem()href = li.xpath('./a/@href').extract_first()href='https://pic.netbian.com'+href# print(href)item['href'] = href# 对详情页发送请求获取详情页的页面源码数据# 手动请求的发送# 请求传参：meta={} 可以将meta字典传递给请求对应的回调函数yield scrapy.Request(href, callback=self.parse_detail, meta={'item': item})# # 分页操作if self.page_num < 3:new_url = format(self.url % self.page_num)self.page_num += 1yield scrapy.Request(new_url, callback=self.parse)

#pipelines.py
class SgirlPipeline:def process_item(self, item, spider):print(item)return item#items.py
import scrapyclass SgirlItem(scrapy.Item):# define the fields for your item here like:# name = scrapy.Field()href = scrapy.Field()name = scrapy.Field()

图片数据爬取之ImagesPipeline：

- 基于scrapy爬取字符串类型的数据和爬取图片类型的数据区别？

- 字符串：只需要基于xpath进行解析且提交管道进行持久化存储

- 图片：xpath解析出图片src的属性值。单独的对图片地址发起请求获取图片二进制类型的数据

- ImagesPipeline： - 只需要将img的src的属性值进行解析，提交到管道，管道就会对图片的 src进行请求发送获取图片的二进制类型的数据，且还会帮我们进行持久化存储。

- 需求：爬取站长素材中的高清图片

- 使用流程：

- 数据解析（图片的地址）

- 将存储图片地址的item提交到制定的管道类

- 在管道文件中自定制一个基于ImagesPipeLine的一个管道类：

- get_media_request - file_path - item_completed

- 在配置文件中： -指定图片存储的目录：IMAGES_STORE = './imgs'

- 指定开启的管道：自定制的管道类

import scrapy
from imgsPro.items import ImgsproItemclass ImgsSpider(scrapy.Spider):name = 'imgs'#allowed_domains = ['www.xxx.com']start_urls = ['https://sc.chinaz.com/tupian/']def parse(self, response):div_list=response.xpath('//*[@id="container"]/div')for div in div_list:#注意图片伪属性src=div.xpath('./div/a/img/@src2').extract_first()src='https:'+src[0:-6]+'.jpg'item=ImgsproItem()item['src']=srcyield  item# print(src)#pipelines.py
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html# useful for handling different item types with a single interface
from itemadapter import ItemAdapter# class ImgsproPipeline:
#     def process_item(self, item, spider):
#         return item
from scrapy.pipelines.images import ImagesPipeline
import scrapy
class imgsPileLine(ImagesPipeline):#就是可以根据图片地址进行图片数据的请求def get_media_requests(self, item, info):yield scrapy.Request(item['src'])#指定图片存储的路径def file_path(self, request, response=None, info=None):imgName = request.url.split('/')[-1]return imgNamedef item_completed(self, results, item, info):return item #返回给下一个即将被执行的管道类#items.py
import scrapy
class ImgsproItem(scrapy.Item):# define the fields for your item here like:# name = scrapy.Field()src = scrapy.Field()

注意图片懒加载全部换成src2

运行成功：