利用python爬取网页图片

学习python爬取网页图片的时候，可以通过这个工具去批量下载你想要的图片

开始正题：

我从尤物网去爬取我喜欢的女神的写真照，我们这里主要用到的就两个模块 re和urllib模块，有的时候可能会用到time模块，其作用主要为延时控制，有的网站有反爬虫机制，在短时间内对网站的请求过多的时候就可能被屏蔽，因此有的时候延迟你的请求在某种情况下可以避免也反爬虫机制限制

直接上代码：

import urllib
import re
import time#封装获取网页所有信息的函数
def getHtml(url):page = urllib.urlopen(url)html = page.read()return html
#封装获取满足正则表达式的图片地址
def getImg(html):reg = r"img src='(.+?\.jpg)'"imgre = re.compile(reg)imglist = re.findall(imgre,html)return imglistfor w in range(11,21,1):k=w#根据网址的规律，通过改变网址来下载所有的照片（这个得自己去看看网址哦）html = getHtml("http://www.youwu.cc/guonei/20160307/1045_%s.html" %k)  # 27i = 1#下载照片try:for imgurl in getImg(html):#下载照片并存到F:/pycharm/workspace/girl-1这个文件夹内urllib.urlretrieve(imgurl,"F:/pycharm/workspace/girl-1/number%s-%s.jpg" %(k, i))print ('%s-%s/%s'%(w,i,len(getImg(html))))#这个模块可以视情况自己去使用，一般的网页如果爬取的数量不大的情况下可以不用# time.sleep(1)i += 1except:print "some problem!"print ('finish!')

利用python爬取网页图片相关推荐

使用Python爬取网页图片
使用Python爬取网页图片李晓文 21 天前近一段时间在学习如何使用Python进行网络爬虫,越来越觉得Python在处理爬虫问题是非常便捷的,那么接下来我就陆陆续续的将自己学习的爬虫知识分享给 ...
Python爬取网页图片至本地
Python爬取网页图片至本地爬取网页上的图片至本地参考代码如下: # -*- codeing = utf-8 -*- import requests import rephotos = [] h ...
python爬取网页图片详解
文章目录什么是爬虫爬取网页图片实现步骤第一步:打开所操作的网站(任意一个网站) 第二步:通过python访问这个网站第三步:点击F12查询相关信息第四步:爬取图片,下载到本地第五步:显示测 ...
利用python爬取甲骨文图片及其对应的汉字含义，共1062个甲骨文，百度云下载
由于对古典文化较感兴趣,因此爬取甲骨文图片,及其对应的中文含义,因为网页是分目录的,因此分目录爬取. 数据来源网址: http://www.9610.com/jiagu/bian/index.htm, ...
Python 爬取网页图片
因为训练数据需求,需要爬取一些图片做训练.爬取的是土巴兔网站的家装图片根据风格进行爬取图片 http://xiaoguotu.to8to.com/list-h3s13i0 可以看到该页面上每一个 ...
利用Python爬取网页美女图片，哇太多了，我U盘装满了！
最近几天,研究了一下一直很好奇的爬虫算法.这里写一下最近几天的点点心得.下面进入正文: 你可能需要的工作环境: Python 3.9官网下载我们这里以sogou作为爬取的对象. 首先我们进入搜狗图片 ...
java爬取网页并保存_第九讲：Python爬取网页图片并保存到本地
上一讲我们说了如何把网页的数据通过分析后存储到数据库,我们这次讲如何将网页上的图片提取并下载到本地. 思路如下: 我们本次要爬取的是昵图网首页的图片. 1.首先分析我们要爬取的网页的代码结构,每个网页 ...
第九讲：Python爬取网页图片并保存到本地
上一讲我们说了如何把网页的数据通过分析后存储到数据库,我们这次讲如何将网页上的图片提取并下载到本地. 思路如下: 我们本次要爬取的是昵图网首页的图片. 1.首先分析我们要爬取的网页的代码结构,每个网页 ...
python爬取一张图片并保存_第九讲：Python爬取网页图片并保存到本地
上一讲我们说了如何把网页的数据通过分析后存储到数据库,我们这次讲如何将网页上的图片提取并下载到本地. 思路如下: 我们本次要爬取的是昵图网首页的图片. 1.首先分析我们要爬取的网页的代码结构,每个网页 ...

利用python爬取网页图片

利用python爬取网页图片相关推荐

最新文章

热门文章