Scrapy从入门到精通(3)--使用Item封装数据

使用Item封装数据

前两篇博客介绍了从页面中提取数据的方法，现在用item封装爬取到的数据

Item和Field

Scrapy提供了Item和Field类，可以用他们自定义数据类，封装爬取到的数据

Item ：自定义数据类(BookItem)的基类
Field：描述自定义数据类包含那些字段（name price）

自定义一个数据类，只需要继承Item，并创建一系列Field对象的类属性

from scrapy import Item,Field
class BookItem(Item)name = Field()price = Field()

Item支持字典接口，因此BookItem在使用上和Python字典类似

book1= BookItem(name = 'Needful Things',price = 45.0)
book1
{'name':'Needful Things','price':45.0}
book2 = BookItem()
book2
{}
book2['name'] = 'Life of Pi'
book2['price'] = 32.5
{'name':'Life of Pi','price':32.5}

访问BookItem对象中的字段与访问字典类似

book.get('price',60)
45.0
list(book.items())
[('price',45.0),('name','Needful Things')]

修改之前的BooskSpider，使用BookItem替代Python字典

class BooksSpider(scrapy.Spider):def parse(self,response):for sel in response.css('article.product_pod'):book = BookItem()book['name'] = sel.xpath('./h3/a/@title').extract_first()book['price'] = sel.css('p.price_color::text').extract_first()yield book

拓展Item子类

根据需求对已有的自定义数据类(Item子类)进行拓展。
例如：
example项目中又添加了一个新的Spider，它负责另一个网站爬取信息

#继承BookItem定义一个ForeigenBookItem类，在其中添加一个翻译字段
class ForeignBookItem(BookItem):translator = Field()book = ForeignBookItem()
book['name'] = ' 巴黎圣母院'
book['price'] = 200
book['translator'] = '陈景荣'

Field元数据

入门2中提到，数据由Spider交给Scrapy引擎后，可能会被传递给其他组件
(Item Pipeline Exporter)处理。可以使用Field的元数据传递额外的信息给处理数据的某个组件（例如告诉组件以何种方式处理数据）

class ExampleItem(Item):x = Field(a = 'hello',b = [1,2,3])y = Field(a = lambda x:x**2) #y有一个数据，a是个函数

访问一个ExampleItem对象的fields属性，将得到一个包含所有Fideli对象的字典

e = ExampleItem(x = 100,y = 200)
e.fields
{'x':{'a':'hello','b':[1,2,3]}}
{'y':{'a':<function_main_.ExampleItem.<lambda>>}}type(e.fields['y'])
scrapy.item.Field

实际上，Field是Python字典的子类，可以通过键值对获取Field对象中的元素：

issubclass(Field,dict)
True
field_x['a']
'hello'

应用Field元数据的实例：
假设要把爬取的书籍信息写入csv，每一项数据最终由Scrapy提供的CsvItemExporter写入文件，在爬取过程中，提取到的信息不一定总是一个字符串，有时可能是一个字符串列表

book['authors'] = ['李雷'，'韩梅梅','吉姆']

写入csv时，需要将列表内所有字符串串行化成一个字符串，
串行化的方式：

’李雷|韩梅梅|吉姆‘ #’|‘.join(book[‘authors’])
‘李雷;韩梅梅;吉姆’ #’;‘.join(book[‘authors’])
“[‘李雷’,’韩梅梅’,’吉姆’]”
通过authors字段的元数据告诉CsvItemExporter如何对authors字段串行话：

class BookItem(Item)；authors = Field(serializer = lambda x:'|'.join(x))

使用Item Pipeline处理数据

前面讲了提取数据以及封装数据的方法，现在讲如何对爬取的数据进行处理。
在Scrapy中，Item Pipeline是处理数据的组件，一个Item Pipeline就是一个包含特定的接口的类，通常只负责一种功能的数据处理，在一个项目中可存在多个，指定次序级连起来，形成一条数据处理流水线
Item Pipline的典型应用：

清洗数据
验证数据有效性
过滤掉重复的数据
将数据存入数据库

在（1）中，爬取到的书籍价格是以英镑为单位的，可以用Item Pipeline转换为人民币为大威德
实现Item Pipeline
在创建一个Scrapy时，会自动生成一个pipelines.py文件，它用来放置用户自定义的Item Pipeline

class PriceConverterPipeline(object):
#汇率
exchange_rate = 8.5309def process_item(self,item,spider):#提取item的price字段#去掉英镑符号，转换为floatprice = float(item['price'][1:])*self.exchange_rate#保留两位小数，赋值会item的price字段item['price'] = '￥%.2f%price'return itemy

一个Item Pipeline不需要继承特定的基类，只需要实现某些特定的方法，process_item \ open_spider \ close_spider
一个Item Pipeline必须实现一个process_item(item,spider)方法，该方法用来处理每一项由Spider获取到的数据：item（爬取到的一项数据（Item或者字典））。Spider(爬取此项数据的Spider对象)
process_item是核心
若process_item在处理某一项item时返回一项数据（item或者字典），返回的数据会传递给下一级Item Pipeline(若存在)继续处理
若抛出异常（DropItem），该项的item会被抛弃，不再传递给后面的item处理。通常，在检测无效数据或过滤数据时，会DropItem

除了process_item还有三个常用方法，

open_spider(self,spider)打开时回调该方法，用于在开始处理数据之前完成某些初始化工作，链接数据库
close_spider(self,spider)关闭数据库
from_crawler(cls,crawer)创建对象时回调该方法，通过crawler.settings读取配置，根据配置创建Item Pipeline对象
启用Item Pipeline
Item Pipeline是可选组件，启用前需要在settings.py中进行配置：

ITEM_PIPELINE = {'example.piplines.PriceConverterPipeline':300}

ITEM_PIPELINE是一个字典，把想要启用的Item Pipeline添加到这个字典中，其中每一项的键是每一个Item Pipeline类的导入路径，0~1000表示次序，数值小的在前。

ITEM Pipeline案例
1.去掉重复数据

from scrapy.exceptions import DropItem
class DuplicatesPipline(object):def__init__(self):self.book_set = set()def process_item(self,item,spider):name = item['name']if name in self.book_set:raise DropItem("Duplicate book found:%s"%item)self.book_set.add(name)return item

在settings.py中启用DuplicatesPipline:

ITEM_PIPELINES = {'example.pipeline.DuplicatesPipline':350}

翻阅爬虫的log信息可以找到重复项

[scrapy.core.scraper]WATNING:Dropped:Duplicate book found:
{'name':'The Star-Touched Queen','price':'￥275.5'}

2.将数据存入MongoliaDB

from scrapy.item import Item
import pymongoclass MongoDBPipeline(object):DB_URL = 'mongodb://locathost:27017/'DB_NAME = 'scrapy_data'def open_spider(self,spider):self.client = pymongodb.MongoClient(self.DB_URL)self.db = self.client[self.DB_NAME]def close_spider(self,spider):self.client.close()
#process_item实现数据库的写入操作，使用self.db和spider.name获取一个集合(collection)，然后将数据插入集合中，集合对象insert_one 方法需转入一个字典对象(不能传入Item对象)，插入前先判断，不是字典先转换成字典def process_item(self,item,spider):collection = self.db[spider.name]post = dict(item)if isinstance(item,Item)else itemcollection.insert_one(post)return item

使用LinkExtract提取链接

此处链接为页面中包含的链接，两种提取方式

Selector 把链接当做数据正常提取，少量时足够
LinkExtract：专门提取链接的类，提取大量链接
（1）中的例子用了第一种方法,先用CSS选择器选中包含下一页链接的a元素并获取href属性，然后调用response.urljoin方法计算出绝对url地址，最后request对象提交

def parse(self,response):
#下一页的链接在ul.page>li.next>a里面next_url = response.css('ul.pager li.next a::attr(href)').extract_first()if next_url:next_url = response.urljoin(next_url)yield scrapy.Request(next_url,callback = self.parse)

使用LinkExtractor方式

#导入linkextractor它位于LinkExtractor模块
from scrapy.linkextractors import LinkExtractor
class BooksSpider(scrapy.Spider):def parse(self,response):
#创建一个LinkExtractor对象，传递给restrict_css参数一个css选择表达式，描述下一页链接所在区域le = LinkExtractor(restrict_css='ul.pager li.next')#根据描述提取区域，在response对象所包含的页面中提取链接，返回url列表links = le.extract_links(response)if links:next_url = link[0].urlyield#由于下一页链接只有一个，用link[0]获取link对象，link属性便是链接页面的绝对url(无需再调用response.urljoin方法)，构造response对象并提交scrapy.Request(next_url,callback=self.parseyyy)

描述提起规则
特殊情况：linkExtractor构造器的所有参数都为默认值，构造参数时不传递任何参数（使用默认值），就提取页面中所有链接。

from scrapy.linkextractors import LinkExtractor
le = LinkExtractor()
links = le.extract_links(response1)
[link.url for link in links]

LinkExtractor构造器中的各个参数

allow

#接受一个正则表达式，提取绝对url与正则表达式匹配的链接，参数为空
#就提取全部链接
le = LinkExtractor(allow = pattern)

deny

#接受一个正则表达式，与allow相反，排除绝对url与正则表达式匹配的链接
le = LinkExtractor(deny = pattern)

allow_domains

#接受一个域名或一个域名列表，提取到指定域的链接。
le = LinkExtractor(allow_domains = domains)

deny_domains

#接受一个域名或一个域名列表，与allow_domains相反，排除到指定的链接
le = LinkExtractor(deny_domains='github.com')

restrict_xpaths

#接受一个XPath表达式或一个XPath表达式列表，提取XPath表达式选中区域下的链接。
le = LinkExtractor(restrict_xpath = '///div[@id="top"]')

restruct_css

#接受一个CSS表达式或一个CSS表达式列表,提取CSS选择器选中区域的链接
le = LinkExtractor(restrict_css='div#bottom')

tags

#接受一个标签，提取指定标签内的链接。默认['a','area'].

attrs

#接受一个属性，提取属性内的链接 ['href']
le = LinkExtractor(tag = 'script',attrs = 'src')

process_value

#接受一个形如func(value)的回调函数。若传递了该参数，LinkExtractor将用该函数对每一个链接处理
le  = LinkExtractor(process_value = process)

使用Exporter导出数据

Exproter(导出器)支持文件格式

json
json Line
csv
xml
Pickle
Marshal

指定如何导出数据

文件路径
格式

两种指定方式
1.通过命令行

scrapy crawl books -o books.csv

-o：指定路径(后面跟的文件格式也可以指定格式)
-t :指定格式(可省略根据-o后面的格式而定)

scrapy crawl books -t csv -o books1.data

以-t参数中的csv为键，在配置字典FEED_EXPORTERS中搜索Exporter，
FEED_EXPORTERS组成：

默认配置文件中的FEED_EXPORTERS_BASE（内部支持导出格式）
用户配置文件FEED_EXPORTERS（用户指定导出格式）

添加新的导出格式（实现新的Exporter），可在配置文件settings.py中定义

FEED_EXPORTERS = {'excel':'my_project.my_exporters.ExcelItemExporter'}

指定文件路径时，可以使用%(name)s和%(time)s两个特殊变量：

%(name)s：会被替换为Spider的名字
%(time)s:会被替换为文件创建时间

使用配置文件会更加方便

FEED_URL

#导出文件路径
FEED_URL = 'export_data/%(name)s.data'

FEED_FORMAT

#导出文件格式
FEED_FORMAT = 'csv'

FEED_EXPORT_ENCONDING

#导出文件编码(默认json使用数字编码，其他使用utf-8)
FEED_EXPORT_FIELDS = 'gbk'

FEED_EXPORT_FIELDS

#导出数据包含的字段（默认导出所有字段）并指定次序
FEED_EXPORT_FIELDS = ['name','author','price']

FEED_EXPORTERS

#用户自定义Exporter字典，添加新的导出数据格式时使用
FEED_EXPORTERS = {'excel':'my_project.my_exporters.ExcelItemExporter'}

添加导出数据格式
某系情况下，需要添加新的导出数据格式，此时需要实现新的Exporter类
每一个Exporter都是BaseItemExporter的子类，如 jsonItemExporter
BaseItemExporter定义了一些借口待子类实现

export_item(self,item)

负责导出爬取到的每一项数据，参数item为一项爬取到的数据，每个子类必须实现该方法

start_expoorting(self)

导出开始时被调用，可在该方法中执行某些初始化工作

finish_exporting(self)

导出完成时被调用，执行某些清理工作

实例：实现excel导出
在项目中创建一个my_exporters.py(与settings.py同级目录)，在其中实现ExcelItemExporter

from scrapy.exporters import BaseItemExporter
import xlwt
#使用第三方库xlwt将数据写入excle
class ExcelItemExporter(BaseItemExporter):def__init__(self,file,**kwarges):self._configure(kwargs)self.file = file#创建Workbook对象和Worksheet对象，并初始化用来记录写入航坐标的self.rowself.wbook = xlwt.Workbook()self.wsheet = self.wbook.add_sheet('scrapy')self.row = 0#finish_exporting在所有数据都被写入Excel表格后被调用，在该方法中用sefl.wbook.save方法将excle写入def finish_exporting(self):self.wbook.save(self.file)def export_item(self,item):files = self._get_serialized_fields(item)for col,v in enumerate(x for _,x in files):self.wsheet.write(self.row,col,v)self.row += 1

完成ExcelItemExporter后，在配置文件settings.py中添加

FEED_EXPORTERS = {'excel':'example.my_exporters.ExcelItemExporter'}

可以使用excel导出数据了

scrapy crawl books -t excle -o book.xls