之前写过一个链家网北京二手房的数据抓取，然后本来今天想着要把所有的东西弄完，但是临时有事出去了一趟，耽搁了一下，然后现在是想着把北京的二手房的信息都进行抓取，并且存储在mongodb中，

首先是通过'https://bj.lianjia.com'的url将按照区域划分和地铁路线图进行划分的所有的url抓取出来进行存储，然后在进行下一步的分析，然后会每一套房源信息都会有一个data-housecode，标识是那一套房间，为了避免有重复的房源信息，在每套房的数据中将data-housecode，数据作为每一套房的标识，进行存储，然后在抓取到房源信息存储到mongodb中时，通过data-housecode进行判断，看当前房源是否已经存储完全，如果已经存储了，则不必插入，否则将该房源信息插入到mongodb中。

用的还是scrapy框架，然后只是在spider.py中添加了按照区和地铁路线图的所有的房源信息，当然根据区域和地铁还可以分的更细。。。

大致的爬虫的框架是：

在scrapy框架中，使用过程是，在spider.py中，将要获取的url请求给scheduler，然后通过download模块进行Request下载数据，如果下载失败，会将结果告诉scrapy engine，然后scrapy engine会稍后进行重新请求，然后download将下载的数据给spider，spider进行数据处理，抓取需要保存的按照地铁路线或者是区域的url，然后跟进url，将个个不同的url进行告诉scrapy engine，然后又通过相同的远离然后进行抓取，然后存储每个房源的标识和条件情况，然后将处理结果返回给item，通过item进行mongodb的存储。

scrapy.py中的代码如下：

#-*-coding:utf-8-*-

importscrapyimportrefrom bs4 importBeautifulSoupimporttimeimportjsonfrom scrapy.http importRequestfrom House.items importHouseItemimportlxml.htmlfrom lxml importetreeclassspider(scrapy.Spider):

name= 'House'url= 'https://bj.lianjia.com'base_url= 'https://bj.lianjia.com/ershoufang'

defstart_requests(self):print(self.base_url)yield Request(self.base_url,self.get_area_url,dont_filter=True)defget_area_url(self,response):

selector=etree.HTML(response.text)

results= selector.xpath('//dd/div/div/a/@href')for each inresults:if 'lianjia' not ineach:

url= self.url +eachelse:

url=eachprint(url)yield Request(url, self.get_total_page, dont_filter=True)defget_total_page(self,response):

soup= BeautifulSoup(response.text, 'lxml')

Total_page= soup.find_all('div', class_='page-box house-lst-page-box')

res= r'