# -*- coding: utf-8 -*-# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html
#items.py,文件是专门用于，接收爬虫获取到的数据信息的，就相当于是容器文件import scrapy
from scrapy.loader.processors import MapCompose,TakeFirst
from scrapy.loader import ItemLoader                #导入ItemLoader类也就加载items容器类填充数据class LagouItemLoader(ItemLoader):                  #自定义Loader继承ItemLoader类，在爬虫页面调用这个类填充数据到Item类default_output_processor = TakeFirst()          #默认利用ItemLoader类，加载items容器类填充数据，是列表类型，可以通过TakeFirst()方法，获取到列表里的内容def tianjia(value):                                 #自定义数据预处理函数return '叫卖录音网'+value                        #将处理后的数据返给Itemclass LagouItem(scrapy.Item):                       #设置爬虫获取到的信息容器类title = scrapy.Field(                           #接收爬虫获取到的title信息input_processor = MapCompose(tianjia),      #将数据预处理函数名称传入MapCompose方法里处理，数据预处理函数的形式参数value会自动接收字段title)

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from adc.items import LagouItem,LagouItemLoader  #导入items容器类,和ItemLoader类class LagouSpider(CrawlSpider):                     #创建爬虫类name = 'lagou'                                  #爬虫名称allowed_domains = ['www.luyin.org']             #起始域名start_urls = ['http://www.luyin.org/']          #起始urlrules = (#配置抓取列表页规则Rule(LinkExtractor(allow=('ggwa/.*')), follow=True),#配置抓取内容页规则Rule(LinkExtractor(allow=('post/\d+.html.*')), callback='parse_job', follow=True),)def parse_job(self, response):                  #回调函数，注意：因为CrawlS模板的源码创建了parse回调函数，所以切记我们不能创建parse名称的函数#利用ItemLoader类，加载items容器类填充数据item_loader = LagouItemLoader(LagouItem(), response=response)item_loader.add_xpath('title','/html/head/title/text()')article_item = item_loader.load_item()yield article_item