手把手教你利用Python网络爬虫获取链家网的房产信息
点击上方“Python爬虫与数据挖掘”,进行关注
回复“书籍”即可获赠Python从入门到进阶共10本电子书
今
日
鸡
汤
夜阑卧听风吹雨,铁马冰河入梦来。
/1 前言/
随着人们生活方式的的提高,房子成为了我们必不可少的一部分。而网上的信息太过于复杂,为了了解最近房价的变化趋势。小编以链家这个网站为例,抓取房价的信息。
/2 项目目标/
实现将获取到的房子的名字、价格、房子的关注度,导入Word模板,并生成独立的Word文档。
/3 涉及的库和网站/
先列出网址,如下所示。
网址:https://bj.lianjia.com/ershoufang/pg1/("bj"北京的缩写)
库:requests、time 、lxml
/4 具体分析/
如何对下一页的网址进行请求?
点击下一页的按钮,观察到网站的变化分别如下:
https://bj.lianjia.com/ershoufang/pg1/
https://bj.lianjia.com/ershoufang/pg2/
https://bj.lianjia.com/ershoufang/pg3/
观察到只有pg()变化,变化的部分用{}格式化代替,再用for循环遍历这网址,实现多个网址请求。
/5 实现步骤/
1. 我们定义一个class类继承object,然后定义init方法继承self,再定义一个主函数main继承self。准备url地址和请求头headers。
import requests
from lxml import etree
import time
class LianJia(object):def __init__(self):passdef main(self):passif __name__ == '__main__':spider= LianJia()spider.main()
2. 对网站发生请求
def __init__(self):self.url = "https://bj.lianjia.com/ershoufang/pg{}/"self.headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"} # 请求数据
def get_page(self,url):html = requests.get(url=url,headers=self.headers).content.decode("utf-8")# print(html)self.page_page(html)
3. 对请求到的数据进行处理
# 数据处理
def page_page(self,html):parse_html = etree.HTML(html)page = parse_html.xpath('//*[@id="content"]/div[1]/ul/li')house_dict = {}for li in page:house_dict['名称']=li.xpath('.//div[@class="infoclear"]//div[@class="title"]/a/text()')[0].strip()house_dict["价格"] = li.xpath(".//div[@class='priceInfo']/div[@class='totalPrice']/span/text()")[0].strip()+"万"house_dict["关注度"] = li.xpath('.//div[@class="info clear"]//div[@class="followInfo"]//text()')[0].strip()
1) 在谷歌浏览器上,进行右键选择开发者工具或者按下键盘的F12,如下图所示。
2) 右键检查,找到房价的链接,如下图所示。
4. 将获取的信息写入word文档
f = open('房子.doc', 'a', encoding = 'utf-8') # 以'w'方式打开文件f.write(str(house_dict))print(house_dict)f.write("\n") # 键和值分行放,键在单数行,值在双数行f.close()
5. 在main方法调用
def main(self):for pg in range(1 ,101): #for遍历得到的网址url = self.url.format(str(pg))print(" = " *50)time.sleep(1.4) #时间延时
/6 效果展示/
1. 点击绿色按钮运行,将结果显示在控制台,如下图所示。
2. 保存在一个名为“房子”world文档里,如下图所示。
/7 小结/
不建议抓取太多数据,容易对服务器造成负载,浅尝辄止即可。
希望通过这个项目,能够帮助大家更好的了解房价的趋势。
本文基于Python网络爬虫,利用爬虫库,实现链家网部分房价信息的抓取。就Python爬取链家的房产信息中的一些难点, 进行详细的讲解和提供有效的解决方案。
欢迎大家积极尝试,有时候看到别人实现起来很简单,但是到自己动手实现的时候,总会有各种各样的问题,切勿眼高手低,勤动手,才可以理解的更加深刻。
如果本文源码的小伙伴,请在后台回复“链家网”三个字进行获取,觉得不错,记得给个Star噢~
------------------- End -------------------
往期精彩文章推荐:
手把手用Python教你如何发现隐藏wifi
手把手教你用Python做个可视化的“剪刀石头布”小游戏
手把手用Python网络爬虫带你爬取全国著名高校附近酒店评论
欢迎大家点赞,留言,转发,转载,感谢大家的相伴与支持
想加入Python学习群请在后台回复【入群】
万水千山总是情,点个【在看】行不行
/今日留言主题/
说一两个你常用的爬虫库吧~~
手把手教你利用Python网络爬虫获取链家网的房产信息相关推荐
- python链家网爬虫_手把手教你利用Python网络爬虫获取链家网的房产信息
点击上方" Python爬虫与数据挖掘 ",进行关注 回复"书籍"即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 夜阑卧听风吹雨,铁马冰河入梦来 ...
- 实战|手把手教你利用Python网络爬虫获取新房数据
一.项目背景 大家好,我是J哥. 新房数据,对于房地产置业者来说是买房的重要参考依据,对于房地产开发商来说,也是分析竞争对手项目的绝佳途径,对于房地产代理来说,是踩盘前的重要准备. 今天J哥以惠民之家 ...
- python爬虫可以爬取个人信息吗_手把手教你利用Python网络爬虫获取旅游景点信息...
爬虫系列: 当我们出去旅游时,会看这个地方有哪些旅游景点,景点价格.开放时间.用户的评论等. 本文基于Python网络爬虫技术,以hao123旅游网为例,获取旅游景点信息. 1.项目目标 获取网站的景 ...
- 想学爬虫的同学看过来,手把手教你利用Python网络爬虫获取APP推广信息
一.前言 CPA之家app推广平台是国内很大的推广平台.该网址的数据信息高达数万条,爬取该网址的信息进行数据的分析. 二.项目目的 实现将获取到的QQ,导入excel模板,并生成独立的excel文档. ...
- 手把手教你使用Python网络爬虫获取B站视频选集内容(附源码)
点击上方"Python爬虫与数据挖掘",进行关注 回复"书籍"即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 位卑未敢忘忧国,事定犹须待阖棺. ...
- 手把手教你用Python网络爬虫获取网易云音乐歌曲
前天给大家分享了用Python网络爬虫爬取了网易云歌词,在文尾说要爬取网易云歌曲,今天小编带大家一起来利用Python爬取网易云音乐,分分钟将网站上的音乐down到本地. 跟着小编运行过代码的筒子们将 ...
- 手把手教你使用Python网络爬虫获取音效信息
点击上方"Python爬虫与数据挖掘",进行关注 回复"书籍"即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 一腔热血勤珍重,洒去犹能化碧涛. ...
- 手把手教你使用Python网络爬虫获取王者荣耀英雄皮肤
点击上方"Python爬虫与数据挖掘",进行关注 回复"书籍"即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 欢度国庆,共度中秋. /1 前言/ ...
- 手把手教你用Python网络爬虫获取壁纸图片
点击上方"Python爬虫与数据挖掘",进行关注 回复"书籍"即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 桃之夭夭,灼灼其华. /1 前言/ ...
最新文章
- Halcon与QT的联合编程(2)
- 转:如何用C#语言构造蜘蛛程序
- 利用Excel或LibreOffice的业务输入进行单元测试约束
- 《MySQL——查询长时间不返回的三种原因与查询慢的原因》
- python 查看当前目录_Python学习第156课--ls的运用、环境变量以及PATH
- 庆大学校计算机系,张丽霞(加州大学洛杉矶分校计算机系教授)_百度百科
- 复杂关联SQL的优化
- 十大经典排序算法整理汇总(附代码)
- Centos 部署.net Core
- DigWS 短消息和WapPush 快速开发指南-功能介绍
- 数电基础-数字电路芯片种类
- 破解有道翻译反爬虫机制
- C语言中的常量与变量
- Java后端开发工作 - 写接口
- 字符串库函数(1)Strlen,strcpy,strcat,strcmp
- 电影《绝望主夫》观后感
- ESP8266桌面气象站
- Flask电影网站项目
- 隆重公有化财团成员交恶 中绒遭深交所询问
- 数方大数据抓取网站访问用户,精准度百分之九十以上。
热门文章
- 新闻!中韧国际教育翼次元学院的少儿有艺翼行动与针对少儿的“艺术饭+”行动在京开幕
- 可编程控制器对环境的要求
- 在线聚合全网直播采集PHP源码 直接上传就可以使用
- OpenID Connect 1.0 / 总览
- REVEAL APP FOR IOS 永久试用
- ArcMap在地图上绘画点要素以及画线要素详细步骤
- 东南大学计算机学院课件 NPM、PYPI、DockerHub 备份
- 开源|携程机票 App KMM 跨端 KV 存储库 MMKV-Kotlin
- python gif转视频_Python:把视频转为Gif图片
- 一场破世界纪录的品牌营销事件:小米在美国会成为下一个潮流?