CrawlSpider

classscrapy.contrib.spiders.CrawlSpider

爬取一般站点经常使用的spider。其定义了一些规则(rule)来提供跟进link的方便的机制。 或许该spider并非全然适合您的特定站点或项目，但其对非常多情况都使用。 因此您能够以其为起点，依据需求改动部分方法。当然您也能够实现自己的spider。

除了从Spider继承过来的(您必须提供的)属性外，其提供了一个新的属性:

rules: Rule对象集合。定义了提取须要跟进url的一些规则。

parse_start_url(response):start_url的回调函数，返回Item或者Request对象的迭代。

基本函数的调用顺序和Spider类一样。见（Spider类源代码分析）

class CrawlSpider(Spider):rules = ()def __init__(self, *a, **kw):super(CrawlSpider, self).__init__(*a, **kw)self._compile_rules()#首先调用parse()来处理start_urls中返回的response对象#parse()则将这些response对象传递给了_parse_response()函数处理。并设置回调函数为parse_start_url()#设置了跟进标志位True#parse将返回item和跟进了的Request对象    def parse(self, response):return self._parse_response(response, self.parse_start_url, cb_kwargs={}, follow=True)#处理start_url中返回的response。须要重写def parse_start_url(self, response):return []def process_results(self, response, results):return results#从response中抽取符合任一用户定义'规则'的链接。并构造成Resquest对象返回def _requests_to_follow(self, response):if not isinstance(response, HtmlResponse):returnseen = set()#抽取之内的全部链接，仅仅要通过随意一个'规则'。即表示合法for n, rule in enumerate(self._rules):links = [l for l in rule.link_extractor.extract_links(response) if l not in seen]#使用用户指定的process_links处理每一个连接if links and rule.process_links:links = rule.process_links(links)#将链接增加seen集合，为每一个链接生成Request对象，并设置回调函数为_repsonse_downloaded()for link in links:seen.add(link)#构造Request对象，并将Rule规则中定义的回调函数作为这个Request对象的回调函数r = Request(url=link.url, callback=self._response_downloaded)r.meta.update(rule=n, link_text=link.text)#对每一个Request调用process_request()函数。

该函数默觉得indentify，即不做不论什么处理，直接返回该Request. yield rule.process_request(r) #处理通过rule提取出的连接。并返回item以及request def _response_downloaded(self, response): rule = self._rules[response.meta['rule']] return self._parse_response(response, rule.callback, rule.cb_kwargs, rule.follow) #解析response对象，会用callback解析处理他。并返回request或Item对象 def _parse_response(self, response, callback, cb_kwargs, follow=True): #首先推断是否设置了回调函数。（该回调函数可能是rule中的解析函数。也可能是 parse_start_url函数） #假设设置了回调函数（parse_start_url()）。那么首先用parse_start_url()处理response对象， #然后再交给process_results处理。返回cb_res的一个列表 if callback: #假设是parse调用的，则会解析成Request对象 #假设是rule callback，则会解析成Item cb_res = callback(response, **cb_kwargs) or () cb_res = self.process_results(response, cb_res) for requests_or_item in iterate_spider_output(cb_res): yield requests_or_item #假设须要跟进，那么使用定义的Rule规则提取并返回这些Request对象 if follow and self._follow_links: #返回每一个Request对象 for request_or_item in self._requests_to_follow(response): yield request_or_item def _compile_rules(self): def get_method(method): if callable(method): return method elif isinstance(method, basestring): return getattr(self, method, None) self._rules = [copy.copy(r) for r in self.rules] for rule in self._rules: rule.callback = get_method(rule.callback) rule.process_links = get_method(rule.process_links) rule.process_request = get_method(rule.process_request) def set_crawler(self, crawler): super(CrawlSpider, self).set_crawler(crawler) self._follow_links = crawler.settings.getbool('CRAWLSPIDER_FOLLOW_LINKS', True)