Python爬取售房信息并保存至CSV文件

在上一篇文章： Python爬取租房信息并保存至Excel文件，介绍了如何使用Python爬取租房信息并保存至Excel文件，在本案例中则是使用Python爬取售房信息并保存至CSV文件。与之前相比，数据的提取方式有所不同，这里用到了Selector选择器，而数据保存的目标文件则是CSV文件。

相关代码如下：

import requests
import parsel
import csv
import timef = open('静安区售房信息.csv', mode='a', encoding='utf_8_sig', newline='')
csv_write = csv.DictWriter(f, fieldnames=['标题', '地址', '户型', '面积', '朝向', '装修', '楼层', '年代', '关注及发布', '其它', '总价', '单价', '详情'])
csv_write.writeheader()for page in range(1, 29):time.sleep(3)print(f'======================正在爬取第{page}页数据内容======================')url = f'https://sh.lianjia.com/ershoufang/jingan/pg{page}/'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36'}response = requests.get(url=url, headers=headers)# print(response.text)selector = parsel.Selector(response.text)divs = selector.css('div.info.clear')# print(divs)for div in divs:title = div.css('.title a::text').get()area_list = div.css('.positionInfo a::text').getall()area = '-'.join(area_list)house_info = div.css('.houseInfo::text').get().split('|')house_type = house_info[0]house_area = house_info[1]house_face = house_info[2]decoration = house_info[3]floor = house_info[4]years = house_info[5]follow_info = div.css('.followInfo::text').get().replace(' / ', ',')tag_list = div.css('.tag span::text').getall()tag = '|'.join(tag_list)totalprice = div.css('.totalPrice span::text').get() + '万'unitprice = div.css('.unitPrice span::text').get().replace('单价', '')href = div.css('.title a::attr(href)').get()dit = {'标题': title,'地址': area,'户型': house_type,'面积': house_area,'朝向': house_face,'装修': decoration,'楼层': floor,'年代': years,'关注及发布': follow_info,'其它': tag,'总价': totalprice,'单价': unitprice,'详情': href,}csv_write.writerow(dit)print(title, area, house_type, house_area, house_face, decoration, floor, years, follow_info, tag, totalprice,unitprice, href, sep='|')
print("爬取完毕！")

爬取结果
数据结果

完整代码已上传至Github，各位下载时麻烦给个follow和star，感谢！
链接：Python爬取售房信息并保存至CSV文件

Python爬取售房信息并保存至CSV文件相关推荐

Python 爬取网页信息并保存到本地爬虫爬取网页第一步【简单易懂，注释超级全，代码可以直接运行】
Python 爬取网页信息并保存到本地[简单易懂,代码可以直接运行] 功能:给出一个关键词,根据关键词爬取程序,这是爬虫爬取网页的第一步步骤: 1.确定url 2.确定请求头 3.发送请求 4.写入 ...
Python爬取起点小说并保存到本地文件夹和MongoDB数据库中
Python爬取起点小说并保存到本地MongoDB数据库中工具:Python3.7 + Mongo4.0 + Pycharm """ 爬取起点小说<诡秘之主> ...
python selenium登录企名片，筛选各种条件，爬虫爬取融资信息，保存到csv文件
要点:1.利用datatime构建日期,设定格式 2.利用selenium 登录账号,input等待需要输入的验证码 3.可以利用scrapy的Selector,替代beautifysoup 得到想 ...
Python爬取新浪微博评论数据，写入csv文件中
因为新浪微博网页版爬虫比较困难,故采取用手机网页端爬取的方式操作步骤如下: 1. 网页版登陆新浪微博 2.打开m.weibo.cn 3.查找自己感兴趣的话题,获取对应的数据接口链接 4.获取cook ...
Python爬取网站图片并保存，超级简单
Python爬取网站图片并保存,超级简单先看看结果吧,去bilibili上拿到的图片=-= 第一步,导入模块 import requests from bs4 import BeautifulSou ...
python爬取机票信息
python爬取机票信息飞机和高铁列车不同,在同样的航线中有着不同的票价,借此我们希望获取尽量多的机票信息来分析机票的变化规律. 首先我们选取京东机票为爬取对象http://jipiao.jd.co ...
python爬取控制台信息_python爬虫实战之爬取智联职位信息和博客文章信息
1.python爬取招聘信息简单爬取智联招聘职位信息 # !/usr/bin/env python # -*-coding:utf-8-*- """ @Author ...
python爬取网页信息
最近在学习python,发现通过python爬取网页信息确实方便,以前用C++写了个简单的爬虫,爬取指定网页的信息,代码随便一写都几百行,而要用python完成相同的工作,代码量相当少.前几天看到了一 ...
python爬取明星百度图片并存入本地文件夹
python爬取明星百度图片并存入本地文件夹想要一个明星图片的时候,发现图片量过大,一张张保存太累,不太现实这时候就可以用到爬虫,批量爬取图片现在又出现一个问题,当发现一个明星爬完后,再爬取下一 ...

Python爬取售房信息并保存至CSV文件

Python爬取售房信息并保存至CSV文件

Python爬取售房信息并保存至CSV文件相关推荐

最新文章

热门文章