网址：苏州短租房,苏州日租房,苏州短租公寓-游天下苏州短租站

导入库

from bs4 import BeautifulSoup
import requests

请求网页

url = 'http://www.youtx.com/suzhou/'
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36'}
res = requests.get(url,headers=headers)res.status_code
html=res.text
soup=BeautifulSoup(html,'lxml')
soupsoup.find_all('div',attrs={'class':'houseInfo clearfix'})

爬取一家店铺

one=soup.find_all('div',attrs={'class':'house-tit clearfix'})[0]
one#名称
name=(''.join(one.find('a').contents))   #contents为列表需用(''.join)转为字符串
name      #方法1
one.find('a').attrs['title']   #方法2#照片
photo=soup.find_all('div',attrs={'class':'house-img'})[0].find('a').attrs['href']
phototwo=soup.find_all('div',attrs={'class':'houseInfo-left mt2'})[0]
two#地址
address=(''.join(two.find_all('p')[0].contents[0]))
address#备注
beizhu=(''.join(two.find_all('p')[1].contents[0]))
beizhu   #方法1
soup.find_all('div',attrs={'class':'houseInfo-left mt2'})[0].find_all('p')[1].contents[0]  #方法2#价格
price=(''.join(soup.find_all('span',attrs={'class':'housePrice'})[0].contents))
price

加循环多家店铺

#建立空列表
photo=[]
name=[]
address=[]
beizhu=[]
price=[]urls=[]#加循环
for i in range(7):urls.append('http://www.youtx.com/suzhou/page'+str(i+1))
urls

#全部代码
for url in urls:response=requests.get(url,headers=headers)re=response.textsoup=BeautifulSoup(re,'lxml')a=soup.find_all('li',attrs={'class':'clearfix'})for i in range(len(a)-6):   #特别注意a一页有36个 真实值是30个photo=soup.find_all('div',attrs={'class':'house-img'})[i].find('a').attrs['href']one=soup.find_all('div',attrs={'class':'house-tit clearfix'})[i]name.append(''.join(one.find('a').attrs['title']))two=soup.find_all('div',attrs={'class':'houseInfo-left mt2'})[i]address.append(''.join(two.find_all('p')[0].contents[0]))beizhu.append(''.join(two.find_all('p')[1].contents[0]))price.append(''.join(soup.find_all('span',attrs={'class':'housePrice'})[i].contents))

放入列表中

import pandas as pd
df=pd.DataFrame({'photo':photo,'name':name,'address':address,'beizhu':beizhu,'price':price})

导出数据

df.to_excel("苏州短租.xlsx")  #导出数据

以下是代码截图

python爬取游天下苏州短租网数据（bs4）相关推荐

python爬百度翻译-Python爬取百度翻译（利用json提取数据）
本篇文章给大家带来的内容是关于Python爬取百度翻译(利用json提取数据),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助. 工具:Python 3.6.5.PyCharm开发工具. ...
4ye含泪用python爬取了自己的公众号粉丝数据
4ye含泪用python爬取了自己的公众号粉丝数据小伙伴们好呀,最近本来是在捣鼓Gateway的知识点的,结果被一件事情搞得心不在焉哈哈哈哈,结果不得不先鸽下~ 搞完这件事情再继续哦!! ε=ε= ...
利用Python爬取《囧妈》豆瓣短评数据，并进行snownlp情感分析
利用Python爬取<囧妈>豆瓣短评数据,并进行snownlp情感分析一.电影评论爬取今年的贺岁片<囧妈>上映前后,在豆瓣评论上就有不少网友发表了自己的观点,到底是好评的声 ...
表哥用Python爬取数千条淘宝商品数据后，发现淘宝这些潜规则！
本文记录了笔者用 Python 爬取淘宝某商品的全过程,并对商品数据进行了挖掘与分析,最终得出结论. 项目内容本案例选择商品类目:沙发. 数量:共 100 页 4400 个商品. 筛选条件:天猫. ...
Python爬取影评并进行情感分析和数据可视化
Python爬取影评并进行情感分析和数据可视化文章目录 Python爬取影评并进行情感分析和数据可视化一.引言二.使用requests+BeautifulSoup进行影评的爬取 1.分析界面元素 ...
刚刚用python爬取一千个微信朋友圈数据，他们的秘密原来这么多。
当下我们饮食起居基本上依靠微信,但微信不单单是1个即时通信软件,更像是仿真模拟的日常生活世界.你所处的微信朋友圈是咋样,慢慢地你的思想也会变的咋样.近几日在学习 itchat,并且写了1个网络爬虫,扒 ...
详解Python爬取房天下的推荐新楼盘
点击上方"程序员大咖",选择"置顶公众号" 关键时刻,第一时间送达! 最近一直在关注Python写爬虫相关的知识,尝试了采用requests + Beautif ...
python 怎么爬桌软件数据_如何利用Python爬取并分析红岭创投的数据？
第一步:爬取数据通过 selenium + Firefox 的无头模式将需要的数据爬取出来,代码实现不在赘述,详细步骤可查看我的上一篇图文(如何利用Python爬取网易新闻), 由于 seleniu ...
Python爬取《隐秘的角落》弹幕数据，实现简单可视化（附源码）
工具使用开发环境: win10.python3.6 开发工具: pycharm 相关模块 : requests,stylecloud 思路分析 1.爬虫获取数据爱奇艺的弹幕数据是以 .z 形式的压 ...

python爬取游天下苏州短租网数据（bs4）

导入库

请求网页

爬取一家店铺

加循环多家店铺

放入列表中

导出数据

以下是代码截图

python爬取游天下苏州短租网数据（bs4）相关推荐

最新文章

热门文章

python爬取游天下苏州短租网数据（bs4）

导入库

请求网页

爬取一家店铺

加循环 多家店铺

放入列表中

导出数据

以下是代码截图

python爬取游天下苏州短租网数据（bs4）相关推荐

最新文章

热门文章

加循环多家店铺