抓取赶集网租房信息 python3

try:from bs4 import BeautifulSoupimport requests
except Exception  :print("请安装 bs4库 和 requests库 再来运行")exit(0)#获取当前价位的累计
def settle_add_num(soup_find_all,money):index=0for tag in soup_find_all:if tag.contents[0].isnumeric():money = money + int(tag.contents[0])index+=1return money
#获取当前平方的累计
def settle_add_m2(soup_find_all,m2):index = 0for tag in soup_find_all:m2 = m2 + int(tag['data-area'].replace('㎡', ''))index += 1return m2#详细信息
def settle_moneysize_data(soup_find_all):url ="http://cs.ganji.com{0}"for tag in soup_find_all:print(tag.text.split()) #标题newurl=url.format(tag.a["href"])soup = BeautifulSoup(requests.get(newurl).text, "html.parser")for a in soup.find_all('div', class_='f-group'):#,id ="js-house-describe"if "地图" in a.text.split():passelse:print(a.text.split())print("-------------------------------------------------")#下一页是否有
def is_next_page(soup_find_all,next):for tag in soup_find_all:for line in tag.strings:if line ==next:return  Truedef mian():url = "http://cs.ganji.com/fang1/liuyang/o{0}/"urlsize =1m2 = 0money = 0next=Truewhile next:newurl =url.format(urlsize)urlsize+=1soup = BeautifulSoup(requests.get(newurl).text, "html.parser")settle_moneysize_data(soup.find_all('dd', class_='dd-item title'))money = settle_add_num(soup.find_all('span', class_='num'),money)#计算钱m2 =settle_add_m2(soup.find_all('dd', class_="dd-item size"),m2)#计算平方next =is_next_page(soup.find_all('ul',class_='pageLink clearfix'),str(urlsize))#判断是否还有print("当前房价为 ", int((money / m2)), "一平")if __name__  =='__main__':mian()
else:print("请从bs4Demo启动 ，谢谢")

out

['第1湾', '精品2室房', '不靠桥', '干净温馨', '随时入住', '品质小区']
['房屋配套', '电视', '空调', '热水器', '洗衣机', '微波炉', '冰箱', '床', '沙发', '衣柜', '暖气', '宽带网', '可做饭', '阳台', '独立卫生间']
['房屋描述', '开福区四方坪第一湾业主诚心出租精装2室房（不靠桥，安静温馨）附近交通生活便利，出门就公交车站，建设银行，中国银行，到火车站约15分钟车程！', '欢迎随时看房，看中拎包入住！']
['小区信息', '第一湾', '(小区介绍)', '均价9548元/m²', '小区租房(215)', '小区合租房(2)', '小区二手房(127)', '容积率：暂无信息', '所在地址：第一湾车站北路与浏阳河交汇处', '绿化率：暂无信息', '所在区域：浏阳', '停车位：暂无信息', '竣工时间：暂无信息']
['经纪人', '葛恒康', '1年', '服务区域：暂无信息', '我爱我家', '经纪人店铺>']
-------------------------------------------------
['优质高档小区', '精装3房', '价格美丽', '通透敞亮', '本时段优质好房.']
['房屋配套', '电视', '空调', '热水器', '洗衣机', '微波炉', '冰箱', '床', '沙发', '衣柜', '暖气', '宽带网', '可做饭', '阳台', '独立卫生间']
['房屋描述', '第一湾', '位于双拥路上', '北临浏阳河', '人车分流的小区', '小区环境极好', '管理严谨', '更好外国友人常年居住于此', '小区配套齐全更有健身房', '游泳馆', '饭店', '早餐店', '食品店', '好又多大超市', '满足生活需求', '交通便利多路公交线路经过于此，小区口就是公交站', '不管您是居家还是多人合租，此房子都非常适合您房源真实，现场实拍']
['小区信息', '第一湾', '(小区介绍)', '均价9548元/m²', '小区租房(215)', '小区合租房(2)', '小区二手房(127)', '容积率：暂无信息', '所在地址：第一湾车站北路与浏阳河交汇处', '绿化率：暂无信息', '所在区域：浏阳', '停车位：暂无信息', '竣工时间：暂无信息']
['经纪人', '黄志国', '1年', '服务区域：暂无信息', '新梦想地产', '经纪人店铺>']
-------------------------------------------------
['好房出租', '卡通主题风格', '全小区只此一套', '价格美丽', '看房的速度']
['房屋配套', '电视', '空调', '热水器', '洗衣机', '微波炉', '冰箱', '床', '沙发', '衣柜', '暖气', '宽带网', '可做饭', '阳台', '独立卫生间']
['房屋描述', '一社区环境', '1.周边交通便利紧邻城市主干道享受数十余公交线路等便利的交通设施', '2.专业打造一个纯居住的小区，绿化率高，社区环境好', '二*理由', '1.的经典户型，，客厅卧室全带阳台飘窗，明厨明卫，居住非常舒适，利用率超高！', '2.业主自己装修的，家具家电俱全！', '2.租价合理，非常超值，业主诚意出租，看房随时！', '欢迎您点击我的头像进入我的店铺，有更多超值户型等您选择，期待您的*！！', '另本人郑重承诺将为您的电话号码提供保密，以免让您接到不必要的打扰电话！！']
['小区信息', '第一湾', '(小区介绍)', '均价9548元/m²', '小区租房(215)', '小区合租房(2)', '小区二手房(127)', '容积率：暂无信息', '所在地址：第一湾车站北路与浏阳河交汇处', '绿化率：暂无信息', '所在区域：浏阳', '停车位：暂无信息', '竣工时间：暂无信息']
['经纪人', '黄志国', '1年', '服务区域：暂无信息', '新梦想地产', '经纪人店铺>']
-------------------------------------------------
['四方坪，第壹湾，正规一房，家电齐全，交通方便，随时看房拎包住']
['房屋配套', '电视', '空调', '热水器', '洗衣机', '微波炉', '冰箱', '床', '沙发', '衣柜', '暖气', '宽带网', '可做饭', '阳台', '独立卫生间']
['房屋描述', '第一湾位于双拥路和车长北路交接处上', '交通方便', '出门就是公交站', '有150路', '228路', '906路到百花园公交站', '在车站北路上还有个四方坪公交站126路', '906路', '小区附近有大润发', '招商银行', '花之林', '发超市', '生鲜超市', '罗莎蛋糕店', '仟吉蛋糕店', '建设银行', '水灵珑', '红色商贸城', '在第一湾里面有一个爱*幼儿园', '第一湾对面有个朵朵幼儿园', '小学有国防科大附小', '四方坪二小', '浏阳河小学', '中学有', '国防科大附属中学', '此房南北通透', '豪华装修', '采光好', '家电家具齐全', '小区环境好', '首.次出租', '随时看房', '拎包入住']
['小区信息', '第一湾', '(小区介绍)', '均价9548元/m²', '小区租房(215)', '小区合租房(2)', '小区二手房(127)', '容积率：暂无信息', '所在地址：第一湾车站北路与浏阳河交汇处', '绿化率：暂无信息', '所在区域：浏阳', '停车位：暂无信息', '竣工时间：暂无信息']
['经纪人', '黄志国', '1年', '服务区域：暂无信息', '新梦想地产', '经纪人店铺>']
-------------------------------------------------
['精装修房屋出租']
['房屋配套', '电视', '空调', '热水器', '洗衣机', '微波炉', '冰箱', '床', '沙发', '衣柜', '暖气', '宽带网', '可做饭', '阳台', '独立卫生间']
['房屋描述', '精品装修房屋出租，拎包即可入住，一切家电齐全（该信息由用户发自手机）']
['小区信息', '创意东方新天地', '(小区介绍)', '暂无', '小区租房(3)', '小区二手房(1)', '容积率：1.55', '所在地址：碧桂园路', '绿化率：39%', '所在区域：浏阳', '停车位：1个', '竣工时间：2008年']
-------------------------------------------------
['全新精装', '家具齐全拎包入住', '南北通透', '交通便利环境好']
['房屋配套', '电视', '空调', '热水器', '洗衣机', '微波炉', '冰箱', '床', '沙发', '衣柜', '暖气', '宽带网', '可做饭', '阳台', '独立卫生间']
['房屋描述', '房子出门五分钟就是公交车站，交通方便周边有很多超市便利店，购物方便房子是朝南向房东很好说话，租金又便宜；租房客户的*选择', '本人专做四方坪楼盘租房，先手中房源楼盘有通华天都---四季美景---如果爱---时代先锋---华龙公馆---华府一地航线---星尚公寓---瑞都豪庭---左岸春天---才子佳苑--万煦园--香樟雅郡--第一湾--科大北苑--水木轩--听香水榭--美美公馆--科大南苑--金帆小区--雅雀湖']
['小区信息', '第一湾', '(小区介绍)', '均价9548元/m²', '小区租房(215)', '小区合租房(2)', '小区二手房(127)', '容积率：暂无信息', '所在地址：第一湾车站北路与浏阳河交汇处', '绿化率：暂无信息', '所在区域：浏阳', '停车位：暂无信息', '竣工时间：暂无信息']
['经纪人', '朱盛然', '1年', '服务区域：长沙', '开福', '四方坪', '新梦想地产', '经纪人店铺>']
-------------------------------------------------
['精装房性价比高房东急租', '家电齐全拎包入住', '交通便利光线好']
['房屋配套', '电视', '空调', '热水器', '洗衣机', '微波炉', '冰箱', '床', '沙发', '衣柜', '暖气', '宽带网', '可做饭', '阳台', '独立卫生间']
['房屋描述', '此房业主诚心出租，可以随时看房，室内家电家具齐全，附近交通便利，生活方便，出门就有公交站、菜市场，大型生活超市，建设银行，中国银行等，离长沙火车站只有15分钟的车程，十分便捷']
['小区信息', '第一湾', '(小区介绍)', '均价9548元/m²', '小区租房(215)', '小区合租房(2)', '小区二手房(127)', '容积率：暂无信息', '所在地址：第一湾车站北路与浏阳河交汇处', '绿化率：暂无信息', '所在区域：浏阳', '停车位：暂无信息', '竣工时间：暂无信息']
['经纪人', '朱盛然', '1年', '服务区域：长沙', '开福', '四方坪', '新梦想地产', '经纪人店铺>']
-------------------------------------------------
['浏阳鑫远名城2室1厅1卫']
['房屋配套', '电视', '空调', '热水器', '洗衣机', '微波炉', '冰箱', '床', '沙发', '衣柜', '暖气', '宽带网', '可做饭', '阳台', '独立卫生间']
['房屋描述', '1.房屋特征这是一套高利用率的大宅，75㎡家具家电齐全优质楼层，更安宁，更清净！', '2.周边配套房子在浏阳城区车站路与劳动路交汇处鑫远名城,交通非常便利，生活氛围很浓，附近有银行，医院，学校，娱乐场所，日常所需就在身边', '再来说说房子', '3.房东心态有意租房者欢迎来电咨询，非诚勿扰！']
-------------------------------------------------
['金沙路单间出租']
['房屋配套', '电视', '空调', '热水器', '洗衣机', '微波炉', '冰箱', '床', '沙发', '衣柜', '暖气', '宽带网', '可做饭', '阳台', '独立卫生间']
['房屋描述', '自家的房子，位于市中心，比一比数码城斜对面，靠近罗家坎，交通出入方便，房间干净，有家具家电，釆光好，三个月起租（该信息由用户发自手机）']
-------------------------------------------------
['精装急出!', '交通便利光线好', '干净整洁舒适温馨', '性价比高!']

抓取赶集网租房信息 python3相关推荐

Python2 Python3 爬取赶集网租房信息,带源码分析
*之前偶然看了某个腾讯公开课的视频,写的爬取赶集网的租房信息,这几天突然想起来,于是自己分析了一下赶集网的信息,然后自己写了一遍,写完又用用Python3重写了一遍.之中也遇见了少许的坑.记一下.算是 ...
Python爬虫之九：用正则表达式爬取赶集网租房信息
一.项目分析 1.查询主页和详情页面的关系得出数据关系:每一个 class 属性为 f-list-item ershoufang-list 的 div 包含着整个需要爬取数据的信息,且查询 ersh ...
爬虫爬取赶集网租房信息
一.爬虫–scrapy 1.搭建环境代码如下(示例): import scrapy import numpy as np import pandas as pd import matplotlib. ...
003.[python学习] 简单抓取豆瓣网电影信息程序
003.[python学习] 简单抓取豆瓣网电影信息程序声明:本程序仅用于学习爬网页数据,不可用于其它用途. 本程序仍有很多不足之处,请读者不吝赐教. 依赖:本程序依赖BeautifulSoup4和 ...
利用python爬取贝壳网租房信息
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
Scrapy使用——抓取赶集网北京公交信息
转载自:http://wwwdigger.com/?p=111 关于Scrapy工作过程会在之后添加. 0.相关信息 a)首先要已经完成Scrapy的配置安装(如果没有安装,可以参考Scrapy安装过 ...
python 爬虫抓取19楼租房信息
查看19lou.com的Cookie chrome中打开19lou.com,按F12可以打开开发者工具查看不获取Cookie会导致爬取网站时重定向而抓不到内容定义headers headers = ...
python 爬取自如网租房信息（解决照片价格问题）
一.背景爬取自如网的租房信息时,本来以为是手到擒来的事,结果却被租房价格卡死了.有脾气的自如,价格居然搞成了照片,并且照片是乱序的0到9,每次根据像素位截取. 最气人的,还是一张照片只取一个数字,例 ...
python京东商品采集_利用Python正则表达式抓取京东网商品信息
京东(JD.com)是中国最大的自营式电商企业,2015年第一季度在中国自营式B2C电商市场的占有率为56.3%.如此庞大的一个电商网站,上面的商品信息是海量的,小编今天就带小伙伴利用正则表达式,并且 ...

抓取赶集网租房信息 python3

抓取赶集网租房信息 python3相关推荐

最新文章

热门文章