利用python爬取贝壳网租房信息

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
python免费学习资料以及群交流解答点击即可加入

利用lxml中的xpath提取信息

xpath是一门在 xml文档中查找信息的语言，xpath可用来在 xml 文档中对元素和属性进行遍历。对比正则表达式 re两者可以完成同样的工作，实现的功能也差不多，但xpath明显比re具有优势。具有如下优点：(1)可在xml中查找信息；(2)支持html的查找；(3)通过元素和属性进行导航
利用xlsxwriter模块将信息保存只excel

xlsxwriter是操作excel的库，可以帮助我们高效快速的，大批量的，自动化的操作excel。它可以写数据，画图，完成大部分常用的excel操作。缺点是xlsxwriter 只能创建新文件，不可以修改原有文件，如果创建新文件时与原有文件同名，则会覆盖原有文件。
爬取思路

观察发现贝壳网租房信息总共是100页，我们可以分每页获取到html代码，然后提取需要的信息保存至字典，将所有页面的信息汇总，最后将字典数据写入excel。
爬虫源代码

import requests
import time
from lxml import etree
import xlsxwriter
'''
遇到不懂的问题？Python学习交流群：1136201545满足你的需求，资料都已经上传群文件，可以自行下载！
'''
def get_html(page):"""获取网站html代码"""url = "https://bj.zu.ke.com/zufang/pg{}/#contentList".format(page)headers = {'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'}response = requests.get(url, headers=headers).textreturn responsedef parse_html(htmlcode, data):"""解析html代码"""content = etree.HTML(htmlcode)results = content.xpath('///div[@class="content__article"]/div[1]/div')for result in results[:]:community = result.xpath('./div[1]/p[@class="content__list--item--title twoline"]/a/text()')[0].replace('\n','').strip().split()[0]address = "-".join(result.xpath('./div/p[@class="content__list--item--des"]/a/text()'))landlord = result.xpath('./div/p[@class="content__list--item--brand oneline"]/text()')[0].replace('\n','').strip() if len(result.xpath('./div/p[@class="content__list--item--brand oneline"]/text()')) > 0 else ""postime = result.xpath('./div/p[@class="content__list--item--time oneline"]/text()')[0]introduction = ",".join(result.xpath('./div/p[@class="content__list--item--bottom oneline"]/i/text()'))price = result.xpath('./div/span/em/text()')[0]description = "".join(result.xpath('./div/p[2]/text()')).replace('\n', '').replace('-', '').strip().split()area = description[0]count = len(description)if count == 6:orientation = description[1] + description[2] + description[3] + description[4]elif count == 5:orientation = description[1] + description[2] + description[3]elif count == 4:orientation = description[1] + description[2]elif count == 3:orientation = description[1]else:orientation = ""pattern = description[-1]floor = "".join(result.xpath('./div/p[2]/span/text()')[1].replace('\n', '').strip().split()).strip() if len(result.xpath('./div/p[2]/span/text()')) > 1 else ""date_time = time.strftime("%Y-%m-%d", time.localtime())"""数据存入字典"""data_dict = {"community": community,"address": address,"landlord": landlord,"postime": postime,"introduction": introduction,"price": '￥' + price,"area": area,"orientation": orientation,"pattern": pattern,"floor": floor,"date_time": date_time}data.append(data_dict)def excel_storage(response):"""将字典数据写入excel"""workbook = xlsxwriter.Workbook('./beikeHouse.xlsx')worksheet = workbook.add_worksheet()"""设置标题加粗"""bold_format = workbook.add_format({'bold': True})worksheet.write('A1', '小区名称', bold_format)worksheet.write('B1', '租房地址', bold_format)worksheet.write('C1', '房屋来源', bold_format)worksheet.write('D1', '发布时间', bold_format)worksheet.write('E1', '租房说明', bold_format)worksheet.write('F1', '房屋价格', bold_format)worksheet.write('G1', '房屋面积', bold_format)worksheet.write('H1', '房屋朝向', bold_format)worksheet.write('I1', '房屋户型', bold_format)worksheet.write('J1', '房屋楼层', bold_format)worksheet.write('K1', '查看日期', bold_format)row = 1col = 0for item in response:worksheet.write_string(row, col, item['community'])worksheet.write_string(row, col + 1, item['address'])worksheet.write_string(row, col + 2, item['landlord'])worksheet.write_string(row, col + 3, item['postime'])worksheet.write_string(row, col + 4, item['introduction'])worksheet.write_string(row, col + 5, item['price'])worksheet.write_string(row, col + 6, item['area'])worksheet.write_string(row, col + 7, item['orientation'])worksheet.write_string(row, col + 8, item['pattern'])worksheet.write_string(row, col + 9, item['floor'])worksheet.write_string(row, col + 10, item['date_time'])row += 1workbook.close()def main():all_datas = []"""网站总共100页，循环100次"""for page in range(1, 100):html = get_html(page)parse_html(html, all_datas)excel_storage(all_datas)if __name__ == '__main__':main()

5. 信息截图

利用python爬取贝壳网租房信息相关推荐

python 爬取贝壳网小区名称_利用python爬取贝壳网租房信息
#@Author: Rainbowhhy#@Date : 19-6-25 下午6:35 importrequestsimporttimefrom lxml importetreeimportxlsxw ...
python 爬取自如网租房信息（解决照片价格问题）
一.背景爬取自如网的租房信息时,本来以为是手到擒来的事,结果却被租房价格卡死了.有脾气的自如,价格居然搞成了照片,并且照片是乱序的0到9,每次根据像素位截取. 最气人的,还是一张照片只取一个数字,例 ...
利用python爬取东方财富网股吧评论并进行情感分析（一）
利用python爬取东方财富网股吧评论(一) python-东方财富网贴吧文本数据爬取分享一下写论文时爬数据用到的代码,有什么问题或者改善的建议的话小伙伴们一起评论区讨论.涉及内容在前人的研究基础之 ...
利用Python爬取散文网的文章实例
这篇文章主要跟大家介绍了利用python爬取散文网文章的相关资料,文中介绍的非常详细,对大家具有一定的参考学习价值,需要的朋友们下面来一起看看吧. 本文主要给大家介绍的是关于python爬取散文网文章 ...
Python2 Python3 爬取赶集网租房信息,带源码分析
*之前偶然看了某个腾讯公开课的视频,写的爬取赶集网的租房信息,这几天突然想起来,于是自己分析了一下赶集网的信息,然后自己写了一遍,写完又用用Python3重写了一遍.之中也遇见了少许的坑.记一下.算是 ...
python 爬取贝壳网小区名称_Python爬虫实战：爬取贝壳网二手房40000条数据
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于啤酒就辣条 ,作者啤酒就辣条一.网页分析爬取贝壳网石家庄二 ...
python爬取自如网房源信息
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: Star_Zhao PS:如有需要Python学习资料的小伙伴可以 ...
python 爬取贝壳网小区名称_如何使用 python 爬取全国小区名称
前言笔者在做一个 NLPNLPNLP 项目时,需要识别小区名,因此想要查询网上是否有相关的数据集.经过一番搜索后一无所获-从而决定自己来爬取这份数据. 由于爬取网站的内容信息之后可能会发生变更,因此 ...
python爬取58同城租房信息_分页爬取58同城租房信息.py
import requests,re,openpyxl,os headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleW ...

利用python爬取贝壳网租房信息

利用python爬取贝壳网租房信息相关推荐

最新文章

热门文章