python：爬取租房100页数据

python：爬取贝壳租房100页数据

import requests
from bs4 import BeautifulSoup
import csv,redef get_one_page(page):url = f'https://cd.zu.ke.com/zufang/pg{page}/#contentList'response = requests.get(url)if response.status_code == 200:return  response.textelse:print(response)return Nonedef analysis_data(html):"""解析一页数据:param html::return:"""soup = BeautifulSoup(html,'lxml')house_div = soup.select('.content__list>div')all_house =[]for div in house_div:info = div.select_one('.content__list--item--des').textinfo = re.sub(r'\s+', '',info).split('/')address = info[-5]area = float(info[-4][:-1])house_type = info[-2]region = address.split('-')[0]price = div.select_one('.content__list--item-price').textprice = int(re.match(r'\d+',price).group())all_house.append([region,address,area,house_type,price])# print(all_house)with open('files/贝壳租房.csv','a',encoding='utf-8',newline='') as f:writer = csv.writer(f)if page == 1:writer.writerow(['地区','地址','面积（）','户型价格（元/月）'])else:writer.writerows(all_house)if __name__ == '__main__':for page in range(1,3):result = get_one_page(page)analysis_data(result)

python：爬取租房100页数据相关推荐

[爬虫-python]爬取京东100页的图书（机器学习）的信息（价格，打折后价格，书名，作者，好评数，差评数，总评数）
Python爬取京东的机器学习类图书的信息一,配置搜索关键字和页数, 二,查找用到的三个URL的过程 1. 搜索图书的URL 2. 评论总数,差评数,好评数的URL 3. 当前价格与打折前价格URL ...
用python爬取基金网信息数据，保存到表格，并做成四种简单可视化。（爬虫之路，永无止境！）
用python爬取基金网信息数据,保存到表格,并做成四种简单可视化.(爬虫之路,永无止境!) 上次 2021-07-07写的用python爬取腾讯招聘网岗位信息保存到表格,并做成简单可视化. 有的人留 ...
爬取电商平台数据，python爬取某维商品数据
本次内容: 爬取电商平台数据,python爬取某维商品数据课程亮点动态数据抓包演示 json数据解析 requests模块的使用保存csv 环境介绍 python 3.8 [最好用和老师一样的版 ...
手把手教你使用Python爬取西刺代理数据，不用担心我封IP了！
/1 前言/ 前几天小编发布了手把手教你使用Python爬取西次代理数据(上篇),木有赶上车的小伙伴,可以戳进去看看.今天小编带大家进行网页结构的分析以及网页数据的提取,具体步骤如下. /2 首页分析 ...
python爬淘宝app数据_一篇文章教会你用Python爬取淘宝评论数据（写在记事本）
[一.项目简介] 本文主要目标是采集淘宝的评价,找出客户所需要的功能.统计客户评价上面夸哪个功能多,比如防水,容量大,好看等等. [二.项目准备工作] 准备Pycharm,下载安装等,可以参考这篇文章 ...
python爬取物流信息_手把手教你用Python爬取快递100查询你的物流信息
前言我们经常会去查快递的物流单号,可是这些物流单号是从哪里来的呢? 快递鸟集合了多家快递公司查询接口,输入相应快递公司编码和快递单号就可以获取到对应的物流信息很方便快捷. 项目目标教会大家如何用P ...
python爬取微博热搜数据并保存！
主要用到requests和bf4两个库将获得的信息保存在d://hotsearch.txt下importrequests;importbs4mylist=[]r=requests.get(ur- 很多 ...
Python爬取京东任意商品数据实战总结
利用Python爬取京东任意商品数据今天给大家展示爬取京东商品数据首先呢还是要分思路的,我分为以下几个步骤: 第一步:得到搜索指定商的url 第二步:获得搜索商品列表信息第三步:对得到的商品数据 ...
python 爬取24小时天气数据
python 爬取24小时天气数据 1.引入相关库 # -*- coding: utf-8 -*- import requests import numpy as np 关于爬虫,就是在网页上找到自己 ...

python：爬取租房100页数据

python：爬取贝壳租房100页数据

python：爬取租房100页数据相关推荐

最新文章

热门文章