python关于二手房的课程论文_基于python爬取链家二手房信息代码示例
基本环境配置
python 3.6
pycharm
requests
parsel
time
相关模块pip安装即可
确定目标网页数据
哦豁，这个价格..................看到都觉得脑阔疼
通过开发者工具，可以直接找到网页返回的数据~
每一个二手房的数据，都在网页的 li 标签里面，咱们可以获取网页返回的数据，然后通过解析，就可以获取到自己想要的数据了~
获取网页数据
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
解析网页数据
import parsel
selector = parsel.Selector(response.text)
lis = selector.css('.sellListContent li')
dit = {}
for li in lis:
title = li.css('.title a::text').get()
dit['标题'] = title
positionInfo = li.css('.positionInfo a::text').getall()
info = '-'.join(positionInfo)
dit['开发商'] = info
houseInfo = li.css('.houseInfo::text').get()
dit['房子信息'] = houseInfo
followInfo = li.css('.followInfo::text').get()
dit['发布周期'] = followInfo
Price = li.css('.totalPrice span::text').get()
dit['售价/万'] = Price
unitPrice = li.css('.unitPrice span::text').get()
dit['单价'] = unitPrice
csv_writer.writerow(dit)
print(dit)
保存数据
import csv
f = open('二手房信息.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['标题', '开发商', '房子信息', '发布周期', '售价/万', '单价'])
csv_writer.writeheader()
csv_writer.writerow(dit)
f.close()
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。
本文标题: 基于python爬取链家二手房信息代码示例
本文地址: http://www.cppcns.com/jiaoben/python/356366.html
python关于二手房的课程论文_基于python爬取链家二手房信息代码示例相关推荐
- 租房不入坑不进坑，Python爬取链家二手房的数据，提前了解租房信息
目录 前言 一.查找数据所在位置: 二.确定数据存放位置: 三.获取html数据: 四.解析html,提取有用数据: 前言 贫穷限制了我的想象,从大学进入到社会这么久,从刚开始的兴致勃勃,觉得钱有什么 ...
- 掌财社:python怎么爬取链家二手房的数据？爬虫实战！
我们知道爬虫的比较常见的应用都是应用在数据分析上,爬虫作为数据分析的前驱,它负责数据的收集.今天我们以python爬取链家二手房数据为例来进行一个python爬虫实战.(内附python爬虫源代码) ...
- python-scrapy-MongoDB 爬取链家二手房
python-scrapy-MongoDB 爬取链家二手房 链家二手房房源数据抓取 目标网址为http://bj.lianjia.com/ershoufang/ 分析网址 创建项目 scrapy st ...
- python关于二手房的课程论文_用Python对二手房信息数据清洗及简单分析
另外两份作业: 这几天看到社群大佬同学们发的作业,对本人有所启发,于是找来前段时间爬取的某二手房网站房源信息,进行简单的操作. 根据数据分析的基本步骤 一.提出问题 根据爬取的网站信息,额想不出有什么 ...
- Python 爬取链家二手房，我在北京买房的经历
本节所讲内容: 链家网站前期分析 利用requests爬取数据 爬取数据存储MongoDB(代码请看最后) 链家网站前期分析 今天我们主要对链家二手房数据爬取,看下我们目前的资金能买那一套.链家二手房 ...
- Python常用插件类举，lxml+Xpath实现爬虫，使用Xpath爬取链家二手房源信息
目录 一.XPath 二.XPath 常用规则 三.在谷歌浏览器安装XPath插件 四.Python爬虫常用插件 五.使用Xpath解析 六.Xpath匹配示例 1.查看所有的标签(如p.a.li标签 ...
- python爬虫--爬取链家租房信息
python 爬虫-链家租房信息 爬虫,其实就是爬取web页面上的信息. 链家租房信息页面如下: https://gz.lianjia.com/zufang/ ## python库 Python库 1 ...
- python爬取电商订单_Python探索之爬取电商售卖信息代码示例
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本. 下面有一个示例代码,分享给大家: #! /usr/bi ...
- python关于二手房的课程论文_用Python对2019年二手房价格进行数据分析
本篇文章利用爬到数据的进行数据分析. 在这篇文章中,用到pandas.seaborn.Matplotlib等工具,分析工具用到提琴图.箱型图.散点图等. 描述性分析 首先导入各种需要的库方便后续一切操 ...
最新文章
- GB：徐健/王师/黄适合作开发微生物组测序新方法2bRAD-M
- 艾伟：C#对游戏手柄的编程开发-API篇(2)
- groovy 使用java类_在java中使用groovy怎么搞 (java and groovy)
- Objective-C Autorelease Pool 的实现原理[转]
- HDU 1026 Ignatius and the Princess I 迷宫范围内的搜索剪枝问题
- leetcode1509. 三次操作后最大值与最小值的最小差
- mysql group by cube_SparkSQL 中group by、grouping sets、rollup和cube方法详解
- php解析命令行参数选项,PHP 命令行参数解析工具类的示例代码
- Nginx——安装与虚拟主机配置（域名非80端口问题）
- LA 4287 有相图的强连通分量
- vs 通过命令参数 定义宏_YRC1000 宏程序命令（四十）
- python--图像轮廓findContours
- Python学习笔记—— python基础 1. 变量的输出
- npm start报错的log文件在哪里
- c语言 解元二次函数的源代码,学霸强推，高中数学万能解题方法，对数学一筹莫展的你必看！...
- 人工智能面试总结：160个机器学习面试题，赶紧先考考自己！
- 为什么电脑浏览器显示时钟快了_xp打开网页提示“你的时钟慢了”的原因及解决方法...
- android 经纬度工具类,计算经纬度距离工具类
- 物联网卡这样设置一下上网全程4G！建议收藏！
- 软件测试工作2年薪资没过万，到底差哪了？