python爬取二手房信息,基于python爬取链家二手房信息代码示例
基本环境配置
python 3.6
pycharm
requests
parsel
time
相关模块pip安装即可
确定目标网页数据
哦豁，这个价格..................看到都觉得脑阔疼
通过开发者工具，可以直接找到网页返回的数据~
每一个二手房的数据，都在网页的 li 标签里面，咱们可以获取网页返回的数据，然后通过解析，就可以获取到自己想要的数据了~
获取网页数据
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
解析网页数据
import parsel
selector = parsel.Selector(response.text)
lis = selector.css('.sellListContent li')
dit = {}
for li in lis:
title = li.css('.title a::text').get()
dit['标题'] = title
positionInfo = li.css('.positionInfo a::text').getall()
info = '-'.join(positionInfo)
dit['开发商'] = info
houseInfo = li.css('.houseInfo::text').get()
dit['房子信息'] = houseInfo
followInfo = li.css('.followInfo::text').get()
dit['发布周期'] = followInfo
Price = li.css('.totalPrice span::text').get()
dit['售价/万'] = Price
unitPrice = li.css('.unitPrice span::text').get()
dit['单价'] = unitPrice
csv_writer.writerow(dit)
print(dit)
保存数据
import csv
f = open('二手房信息.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['标题', '开发商', '房子信息', '发布周期', '售价/万', '单价'])
csv_writer.writeheader()
csv_writer.writerow(dit)
f.close()
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持龙方网络。
python爬取二手房信息,基于python爬取链家二手房信息代码示例相关推荐
- python kivy显示图片_python基于Kivy写一个图形桌面时钟程序代码示例
本篇文章小编给大家分享一下python基于Kivy写一个图形桌面时钟程序代码示例,文章代码介绍的很详细,小编觉得挺不错的,现在分享给大家供大家参考,有需要的小伙伴们可以来看看. Kivy 是一个开源的 ...
- python关于二手房的课程论文_基于python爬取链家二手房信息代码示例
基本环境配置 python 3.6 pycharm requests parsel time 相关模块pip安装即可 确定目标网页数据 哦豁,这个价格..................看到都觉得脑阔 ...
- PyQt5+Python+Excel链家二手房信息爬取、可视化以及数据存取
成果图: 第一步运行代码searsh.py,效果如下 第二步选择你所需要爬取数据的城市,如湖北-武汉 然后搜索,结果如下 如果你想爬取更多信息,只需要点击下一页即可 第三步,保存数据.可以将所显示的所 ...
- 租房不入坑不进坑，Python爬取链家二手房的数据，提前了解租房信息
目录 前言 一.查找数据所在位置: 二.确定数据存放位置: 三.获取html数据: 四.解析html,提取有用数据: 前言 贫穷限制了我的想象,从大学进入到社会这么久,从刚开始的兴致勃勃,觉得钱有什么 ...
- python爬虫requests源码链家_python爬虫爬取链家二手房信息
#coding=utf-8 import requests from fake_useragent import UserAgent from bs4 import BeautifulSoup imp ...
- python爬虫代码房-python爬虫爬取链家二手房信息
#coding=utf-8 import requests from fake_useragent import UserAgent from bs4 import BeautifulSoup imp ...
- python二手房使用教程_python爬虫爬取链家二手房信息
#coding=utf-8 import requests from fake_useragent import UserAgent from bs4 import BeautifulSoup imp ...
- 简单python脚本 爬取杭州链家二手房 房价信息
爬取链家房价信息 主要使用以下库: requests BeautifulSoup 相关问题 当爬取次数太多的时候,可能会遇到被封的情况或者验证码, 大佬们可以自行解决,这个脚本里面我就不掺和了,毕竟我 ...
- php爬取房源,Python 爬虫 链家二手房（自行输入城市爬取）
因同事想在沈阳买房,对比分析沈阳各区的房价,让我帮忙爬取一下链家网相关数据,然后打 算记下笔记 用于总结学到的东西&用到的东西. 一.爬虫需要会什么? 学习东西 首先你要知道它是干嘛的.爬虫 ...
- python爬虫requests源码链家_Python 爬虫 链家二手房（自行输入城市爬取）
因同事想在沈阳买房,对比分析沈阳各区的房价,让我帮忙爬取一下链家网相关数据,然后打 算记下笔记 用于总结学到的东西&用到的东西. 一.爬虫需要会什么? 学习东西 首先你要知道它是干嘛的.爬虫 ...
最新文章
- epoll_data_t里面的void *ptr; int fd; u32; u64 分析
- mybatis一级缓存命中条件
- [密码学基础][每个信息安全博士生应该知道的52件事][Bristol Cryptography][第27篇]什么是对称密码加密的AEAD安全定义？
- scp上传服务器加特殊端口
- 如何对聚类结果进行分析_产品经理如何进行数据分析？
- quartz 动态添加job_SpringBoot 集成Quartz发布、修改、暂停、删除定时任务
- Ubuntu 18.04 隐藏桌面的回收站图标
- 「TJOI 2018」碱基序列
- 计算机组成原理-宝典
- element 按钮样式 点击后发生改变（完整改变element按钮样式）
- 运放电路的工作原理_陶瓷气体放电管工作原理全业电子
- Chrome灵魂插件
- 高效生成6位数字验证码代码
- 什么是虚拟主机?虚拟主机是什么意思
- 在Linux中，如何找到并杀掉僵尸进程？
- 分布式系统设计模式 - 最低水位线（Low-Water Mark）
- Wine零知识学习1 —— 介绍
- Linux上安装pstree命令（-bash: pstree: command not found）
- Android进程保活（如何尽可能避免APP被杀死）
- 国货驶入快车道，这些礼业新趋势你抓住了吗？