爬取广州链家二手房并写入csv

知识点：多线程，读取csv,xpath

import json
import csv
import requests
import threading
import lxml
import lxml.etree#递归锁
rLock=threading.RLock()headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0'}#获取区域
def getAreaList(url):html=requests.get(url,headers=headers).textmytree=lxml.etree.HTML(html)areList=mytree.xpath('//div[@data-role="ershoufang"]//a')areaDict={}for area in areList:# 区域名areaName=area.xpath('./text()')[0]#urlareaUrl = 'https://gz.lianjia.com'+area.xpath('./@href')[0]#print(areaName,areaUrl)areaDict[areaName]=areaUrlprint(areaName,areaUrl)return areaDict#获取区域页数
def getAreaPage(areaUrl,areaName):html = requests.get(areaUrl, headers=headers).textmytree = lxml.etree.HTML(html)pageNum=mytree.xpath('//div[@class="page-box house-lst-page-box"]/@page-data')[0]pageNum=int(json.loads(pageNum)["totalPage"])#return int(pageNum)getHourseInfo(areaUrl, areaName, pageNum)#获取房子信息
def getHourseInfo(areaUrl,areaName,pageNum):for page in range(1,pageNum):#构造页码urlurl=areaUrl+'pg%d'%pagehtml = requests.get(url, headers=headers).textmytree = lxml.etree.HTML(html)#房子列表hourseList = mytree.xpath('//ul[@class="sellListContent"]/li')for hourse in hourseList:#房子标题hourseTitle=hourse.xpath('.//div[@class="title"]/a/text()')[0]#房子urlhourseUrl = hourse.xpath('.//div[@class="title"]/a/@href')[0]#地址信息hourseAddress=hourse.xpath('.//div[@class="houseInfo"]//text()')hourseAddress=hourseAddress[0]+hourseAddress[1]#位置xinxipositionInfo=hourse.xpath('.//div[@class="positionInfo"]//text()')positionInfo=positionInfo[0]+positionInfo[1]#总价totalPrice=hourse.xpath('.//div[@class="totalPrice"]//text()')totalPrice=totalPrice[0]+totalPrice[1]#单价unitPriceunitPrice = hourse.xpath('.//div[@class="unitPrice"]//text()')[0]data=[hourseTitle,hourseAddress,positionInfo,totalPrice,unitPrice,hourseUrl]print(data)#写入csvwith rLock:with open('./data/'+areaName+'.csv','a+') as f:writer=csv.writer(f)writer.writerow(data)if __name__ == '__main__':#广州二手房mainUrl='https://gz.lianjia.com/ershoufang/'#获取区域字典areaDict=getAreaList(mainUrl)threadList=[]for areaName,areaUrl in areaDict.items():# print(areaName)# #获取区域页码# pageNum=getAreaPage(areaUrl)# getHourseInfo(areaUrl,areaName,pageNum)t=threading.Thread(target=getAreaPage,args=(areaUrl,areaName))t.start()threadList.append(t)#保证线程正常结束for t in threadList:t.join()

爬取广州链家二手房并写入csv相关推荐

Python爬虫框架Scrapy入门（三）爬虫实战：爬取长沙链家二手房
Item Pipeline介绍 Item对象是一个简单的容器,用于收集抓取到的数据,其提供了类似于字典(dictionary-like)的API,并具有用于声明可用字段的简单语法. Scrapy的It ...
爬取‘广州链家新房’数据并以csv形式保存。
--本次的目标是爬取'广州链家新房'前十页的信息,具体需要爬取的信息为'楼房名字.地址.价格以及是否在售的情况',具体的代码如下. import requests,time import pandas ...
爬取北京链家二手房数据
利用python爬取了北京链家主页的二手房数据,爬取时间为2020年1月8日.由于链家只显示了100页.每页30条,因此只能爬取3000条数据. 后续将爬取各区的小区名,对每个小区的在售二手房数据进行 ...
爬取广州链家租房信息，并用tableau进行数据分析
在外工作,难免需要租房子,而链家是现在比较火的一个租房网站,本文章主要是爬取链家在广州的租房信息,并且进行简单的数据分析. 数据采集如图所示,我们需要的信息主要是存放在这个标签里面,我们把信息采集下 ...
简单python脚本爬取杭州链家二手房房价信息
爬取链家房价信息主要使用以下库: requests BeautifulSoup 相关问题当爬取次数太多的时候,可能会遇到被封的情况或者验证码, 大佬们可以自行解决,这个脚本里面我就不掺和了,毕竟我 ...
爬取北京链家二手房（requests和selenium）
从网页源码中可以看出这是静态网页,可以直接从源代码里拿数据,先用requests,在用BeautifulSoup解析,最后通过查找获取数据 import requests from bs4 impor ...
用Python爬取2020链家杭州二手房数据
起源于数据挖掘课程设计的需求,参考着17年这位老兄写的代码:https://blog.csdn.net/sinat_36772813/article/details/73497956?utm_medi ...
爬取南京链家租房信息
爬取南京链家租房信息代码如下代码片. import requests from lxml import etree if name == "main": #设置一个通用URL模 ...
爬虫：一种打破3000套限制爬取所有链家二手房源的方法
本人在爬取二手房的时候,发现链家网站的每个链接(https://sz.lianjia.com/ershoufang/pg100/)最多只能有100页,每页30套房源,那么就是3000套.很多网友也遇到 ...

爬取广州链家二手房并写入csv

爬取广州链家二手房并写入csv相关推荐

最新文章

热门文章