不清楚的可以去GitHub点击进入https://github.com/Agile929/lianjia.git

这是主代码,其他代码可以去GitHub查看

# -*- coding: utf-8 -*-
import scrapy
from lianjia.settings import USER_AGENT_LIST
import random
import re
from lianjia.items import LianjiaItemclass LianjiaZufangSpider(scrapy.Spider):name = 'lianjia_zufang'allowed_domains = ['lianjia.com']base_url = "https://sz.lianjia.com/zufang/pg"page = 0start_urls = [base_url + str(page)]def parse(self, response):referer = self.base_url + str(self.page)headers = {"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8","Accept-Encoding": "gzip, deflate, br","Accept-Language": "zh-CN,zh;q=0.9","Connection": "keep-alive","Host": "sz.lianjia.com","Referer": referer,"Upgrade-Insecure-Requests": "1","User-Agent": random.choice(USER_AGENT_LIST)}node_list = response.xpath('//div[@class="wrapper"]//ul[@id="house-lst"]/li')if not node_list:returnfor node in node_list:detail_url = node.xpath('./div[@class="info-panel"]/h2/a/@href').extract_first()yield scrapy.Request(url=detail_url, headers=headers, callback=self.parse_detail, meta={"detail_url": detail_url})self.page += 1yield scrapy.Request(url=self.base_url + str(self.page), headers=headers, callback=self.parse)def parse_detail(self, response):detail_html = response.body.decode("utf-8")node_list = response.xpath('//div[@class="content-wrapper"]/div[@class="overview"]/div[@class="content zf-content"]')for node in node_list:item = LianjiaItem()item["address"] = node.xpath('./div[@class="zf-room"]/p[7]/a[1]/text()').extract_first() + "-" + node.xpath('./div[@class="zf-room"]/p[7]/a[2]/text()').extract_first()item['price'] = re.compile(r'<span class="total">(.*?)</span>', re.S).findall(detail_html)[0]item["address_detail"] = node.xpath('./div[@class="zf-room"]/p[6]/a/text()').extract_first()item["detail_url"] = response.meta["detail_url"]item["area"] = node.xpath('./div[@class="zf-room"]/p[1]/text()').extract_first()item["floor"] = node.xpath('./div[@class="zf-room"]/p[3]/text()').extract_first()item["house_type"] = node.xpath('./div[@class="zf-room"]/p[2]/text()').extract_first()item["release_time"] = node.xpath('./div[@class="zf-room"]/p[8]/text()').extract_first()item["content"] = response.xpath('//div[@class="content-wrapper"]//div[@class="title"]/h1/text()').extract_first()yield item

执行结果

有问题请留言

使用scrapy框架爬取链家网站租房信息相关推荐

python爬取南京市房价_Python的scrapy之爬取链家网房价信息并保存到本地
因为有在北京租房的打算,于是上网浏览了一下链家网站的房价,想将他们爬取下来,并保存到本地. 先看链家网的源码..房价信息都保存在 ul 下的li 里面爬虫结构: 其中封装了一个数据库处理模 ...
python爬取链家房价消息_Python的scrapy之爬取链家网房价信息并保存到本地
因为有在北京租房的打算,于是上网浏览了一下链家网站的房价,想将他们爬取下来,并保存到本地. 先看链家网的源码..房价信息都保存在 ul 下的li 里面爬虫结构: 其中封装了一个数据库处理模 ...
Python爬取链家北京租房信息！北京租房都租不起啊！
一.效果图二.代码 import re from fake_useragent import UserAgent from lxml import etree import asyncio impo ...
python爬取链家网实例——scrapy框架爬取-链家网的租房信息
说明: 本文适合scrapy框架的入门学习. 一.认识scrapy框架开发python爬虫有很多种方式,从程序的复杂程度的角度来说,可以分为:爬虫项目和爬虫文件. scrapy更适合做爬虫项目,ur ...
Python爬取链家北京租房信息
刚学习了python,中途遇到很多问题,查了很多资料,最关键的就是要善于调试,div信息一定不要找错,下面就是我爬取租房信息的代码和运行结果: 链家的房租网站两个导入的包 1.requests 用来 ...
爬取链家网站的北京租房信息
本来准备这个暑假好好复习,但学校安排暑期实践,既然学校安排这个,而且我自己也觉得需要提高一下自己的能力,所以静下心来做点事吧.我们要做到项目是分析北京地区的租房的信息分析. 我们需要做的是爬取链家网站 ...
爬取链家网站中的租房信息
爬取链家网站中的租房信息信息爬取代码信息爬取代码 import requests from lxml import etree import pandas as pdwith open('zufa ...
如何高效地爬取链家的房源信息（四）
"Python实现的链家网站的爬虫第四部分,最后一部分." 本系列文将以链家南京站为例,使用Python实现链家二手房源信息的爬虫,将数据爬取,并存入数据库中,以便使用. 本系列第 ...
如何高效地爬取链家的房源信息（三）
"Python实现的链家网站的爬虫第三部分." 本系列文将以链家南京站为例,使用Python实现链家二手房源信息的爬虫,将数据爬取,并存入数据库中,以便使用. 本系列第一部分为基础 ...
如何高效地爬取链家的房源信息（二）
"Python实现的链家网站的爬虫第二部分." 本系列文将以链家南京站为例,使用Python实现链家二手房源信息的爬虫,将数据爬取,并存入数据库中,以便使用. 本系列第一部分: 如 ...

使用scrapy框架爬取链家网站租房信息

这是主代码,其他代码可以去GitHub查看

执行结果

有问题请留言

使用scrapy框架爬取链家网站租房信息相关推荐

最新文章

热门文章