现在我们来更新相应的stack_spider.py脚本

from scrapy import Spider
from scrapy.selector import Selector
from stack.items import StackItemclass StackSpider(Spider):name="stack"allowed_domains=['stackoverflow.com']start_urls = ["http://stackoverflow.com/questions?pagesize=50&sort=newest",]def parse(self,response):questions=Selector(response).xpath('//div[@class="summary"]/h3')

提取数据

创建抓取的规约之后，我们需要与刚才创建的items实体进行关联，我们继续修改stack_spider.py文件

from scrapy import Spider
from scrapy.selector import Selector
from stack.items import StackItemclass StackSpider(Spider):name="stack"allowed_domains=['stackoverflow.com']start_urls = ["http://stackoverflow.com/questions?pagesize=50&sort=newest",]def parse(self,response):questions=Selector(response).xpath('//div[@class="summary"]/h3')for question in questions:item=StackItem()item['title'] = question.xpath('a[@class="question-hyperlink"]/text()').extract()[0]item['url'] = question.xpath('a[@class="question-hyperlink"]/@href').extract()[0]yield item

通过遍历所有的符合//div[@class="summary"]/h3的元素，并且从中找到我们真正需要爬取的元素内容

测试

现在我们进行测试，只要在项目的目录下面运行以下的脚本就可以进行测试 。

scrapy crawl stack

现在我们需要将爬取到的所有的信息保存到一个文件当中，可以在后面添加二个参数-o和-t

scrapy crawl stack -o items.json -t json

下面是实际保存的文件的内容分别包含了title和url


将元素存放入MongoDB

这里我们需要将所有的元素保存到Mongodb collection当中。
在进行操作之前我们需要在setinngs.py指定相应的pipeline和添加一些数据库的参数

ITEM_PIPELINES = {'stack.pipelines.MongoDBPipeline': 300,
}
MONGODB_SERVER = "localhost"
MONGODB_PORT = 27017
MONGODB_DB = "stackoverflow"
MONGODB_COLLECTION = "questions"

pipeline 管理

在之前的步骤里面我们分别已经完成了对html的解析，以及指定数据的存储。但是这时所有的信息都在内存当中，我们需要将这些爬取到数据存储到数据库当中，这里就轮到pipelines.py上场了，这玩意就负责对数据的存储的。
在上面我们已经定义了数据库的参数，现在我们终于派上用场了。

import pymongo
from scrapy.conf import settings
from scrapy.exceptions import DropItem
from scrapy import logclass MongoDBPipeline(object):def __init__(self):connection=pymongo.MongoClient(settings['MONGODB_SERVER'],settings['MONGODB_PORT'])db=connection[settings['MONGODB_DB']]self.collection=db[settings['MONGODB_COLLECTION']]

上面的代码是我们创建了一个MongoDBPipeline()的类，以及定义初始化函数，用来读取刚才的参数来创建一个Mongo的连接。

数据处理

下一步我们需要定义一个函数来处理解析的数据

# -*- coding: utf-8 -*-# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
import pymongo
from scrapy.conf import settings
from scrapy.exceptions import DropItem
from scrapy import logclass MongoDBPipeline(object):def __init__(self):connection=pymongo.MongoClient(settings['MONGODB_SERVER'],settings['MONGODB_PORT'])db=connection[settings['MONGODB_DB']]self.collection=db[settings['MONGODB_COLLECTION']]def process_item(self,item,spider):valid=Truefor data in item:if not data:valid=Falseraise DropItem('Missing{0}!'.format(data))if valid:self.collection.insert(dict(item))log.msg('question added to mongodb database!',level=log.DEBUG,spider=spider)return item

上面已经完成了对数据的连接，以及相应数据的存储

测试

我们同样在stack目录当中运行下面的命令

$ scrapy crawl stack

当内容执行完成之后没有出现任何的错误的提示，恭喜你已经将数据正确的存入到mongodb当中。
这里我们通过Robomongo来访问数据库的时候发现创建了一个stackoverflow的数据库，下面已经成功创建了一个名为questions的Collections.并且已经存入了相应的数据了。