【Python爬虫案例学习21】爬取某站上海租房图片

####前言
其实很简短就是利用爬虫的第三方库Requests与BeautifulSoup。
其实就几行代码，但希望没有开发基础的人也能一下子看明白，所以大神请绕行。
####基本环境配置

python 版本：3.6
IDE ：pycharm
####相关模块

import requests
import urllib.request
import os
import time
from bs4 import BeautifulSoup

####实现效果图

####完整代码

import requests
import urllib.request
import os
import time
from bs4 import BeautifulSoup
'''
遇到不懂的问题？Python学习交流群：821460695满足你的需求，资料都已经上传群文件，可以自行下载！
'''
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'}
url=['http://sh.58.com/zufang/pn{}/?ClickID=2'.format(number) for number in range(6,51)]#分页抓取
adminCout=6
for arurl in url:adminCout=adminCout+1res=requests.get(arurl,headers=header)soup=BeautifulSoup(res.text,'html.parser')arryImg=soup.select('.img_list img')print(arryImg)count = 0;for img in arryImg:print(img['lazy_src'])_url = img['lazy_src']pathName = "E:\\2333\\" + str(adminCout)+"_"+str(count) + ".jpg"  # 设置路径和文件名result = urllib.request.urlopen(_url)  # 打开链接，和python2.x不同请注意了data = result.read()  # 否则开始下载到本地with open(pathName, "wb") as code:code.write(data)code.close()count = count + 1  # 计数+1print("正在下载第：", count)time.sleep(30)

【Python爬虫案例学习21】爬取某站上海租房图片相关推荐

python爬取某站上海租房图片
前言对于一个net开发这爬虫真真的以前没有写过.这段时间开始学习python爬虫,今天周末无聊写了一段代码爬取上海租房图片,其实很简短就是利用爬虫的第三方库Requests与BeautifulSou ...
Python爬取某站上海租房图片!
前言对于一个net开发这爬虫真真的以前没有写过.这段时间开始学习python爬虫,今天周末无聊写了一段代码爬取上海租房图片,其实很简短就是利用爬虫的第三方库Requests与BeautifulSou ...
Python爬虫案例：简单爬取肯德基餐厅位置信息
目录代码成功获取的数据预览代码 # Python爬虫简单例子 # 爬取肯德基餐厅位置信息 # 仅供学习交流!import requests;# 判断是否是当前文件运行 if __name__ = ...
python爬虫案例——根据网址爬取中文网站，获取标题、子连接、子连接数目、连接描述、中文分词列表
全栈工程师开发手册 (作者:栾鹏) python教程全解其中使用到了urllib.BeautifulSoup爬虫和结巴中文分词的相关知识. 调试环境python3.6 # 根据连接爬取中文网站,获取 ...
Python爬虫案例3：爬取房天下房价等各种信息
爬取房天下网站,爬取的内容: 区域.小区名.总价.房型.面积.单价.朝向.楼层位置.装修情况.建筑时间.是否有电梯.产权类型.住宅类型.发布日期信息保存:保存在csv中数据结果: 1.先建立爬虫项 ...
python爬虫之使用selenium爬取b站视频信息
前言在之前提到爬虫时,我想到的步骤大多是: 查找要爬取内容的页面的url,使用requests库获取响应内容内容为html源码则使用BeautifulSoup等工具解析html源码,得到想要的数据 ...
python爬虫（2）爬取游民星空网的图片
python 入门级别爬虫目的:爬取游民星空的图片前两天在游民星空看到几张美图,然后就想把它保存下来,但是一个一个的右键保存,太不爽了,身为一个程序源,一个码农,怎么能这么低级的保存呢? 然后最近 ...
python爬虫-20行代码爬取王者荣耀所有英雄图片，小白也轻轻松松
1.环境 python3.6 需要用到的库: re.os.requests 2.简介王者荣耀可以算得上是比较受欢迎的手游之一了,应该有不少的人都入坑过农药,我们今天的目的就是要爬取王者荣耀的高清英雄 ...
python爬虫利用Scrapy框架爬取汽车之家奔驰图片--实战
先看一下利用scrapy框架爬取汽车之家奔驰A级的效果图 1)进入cmd命令模式下,进入想要存取爬虫代码的文件,我这里是进入e盘下的python_spider文件夹内 C:\Users\15538&g ...

【Python爬虫案例学习21】爬取某站上海租房图片

【Python爬虫案例学习21】爬取某站上海租房图片相关推荐

最新文章

热门文章