如果需要大量的图片，在网页中一个一个下载，耗费时间太长了，如果可以有程序自动帮我们下载图片，这样就最好了，既快速又方便。

接下来，我将把学习笔记记录如下，以下内容仅仅是突击学习、尽快使用的效果，而对于python爬取还是有很多很多不了解的地方。

参考链接：https://www.cnblogs.com/dearvee/p/6558571.html

参考链接：https://blog.csdn.net/zjy18886018024/article/details/80001097

参考链接：https://www.cnblogs.com/roboot/p/11410323.html

参考链接：https://www.jb51.net/article/168484.htm

参考链接：https://blog.csdn.net/qq_38412868/article/details/82080260

源码示例

参考链接：https://www.jb51.net/article/168484.htm

给出一个链接，https://tieba.baidu.com/p/2460150866?red_tag=2171084898，里面有很多图片，需要把它们全部下载到一个本地文件夹内。

import urllib.request
import re
import os
import urllib#根据给定的网址来获取网页详细信息，得到的html就是网页的源代码
def getHtml(url):page = urllib.request.urlopen(url)html = page.read()return html.decode('UTF-8')def getImg(html):reg = r'src="(.+?\.jpg)" pic_ext'imgre = re.compile(reg)imglist = imgre.findall(html)#表示在整个网页中过滤出所有图片的地址，放在imglist中x = 0path = 'E:/Python/get_picture/picture'# 将图片保存if not os.path.isdir(path): os.makedirs(path) paths = path+'/'   #保存在test路径下 for imgurl in imglist: urllib.request.urlretrieve(imgurl,'{0}{1}.jpg'.format(paths,x)) #打开imglist中保存的图片网址，并下载图片保存在本地，format格式化字符串 x = x + 1return imglist
html = getHtml("http://tieba.baidu.com/p/2460150866")#获取该网址网页详细信息，得到的html就是网页的源代码
print (getImg(html)) #从网页源代码中分析并下载保存图片

源码示例

参考链接：https://blog.csdn.net/qq_38412868/article/details/82080260

需要下载图片的链接：http://desk.zol.com.cn/dongman/longmao/

查看网页源代码：


from bs4 import BeautifulSoup
import requestsdef download(img_url,headers,n):req = requests.get(img_url, headers=headers)name = '%s'%n+'='+img_url[-15:]path = r'E:/Python/get_picture/picture'file_name = path + '\\' + namef = open(file_name, 'wb')f.write(req.content)f.closedef parses_picture(url,headers,n):url = r'http://desk.zol.com.cn/' + urlimg_req = requests.get(url, headers=headers)img_req.encoding = 'gb2312'html = img_req.textbf = BeautifulSoup(html, 'lxml')try:img_url = bf.find('div', class_='photo').find('img').get('src')download(img_url,headers,n)url1 = bf.find('div',id='photo-next').a.get('href')parses_picture(url1,headers,n)except:print(u'第%s图片下载完成'%n)if __name__=='__main__':url='http://desk.zol.com.cn/dongman/longmao/'headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}req = requests.get(url=url, headers=headers)req=requests.get(url=url,headers=headers)req.encoding = 'gb2312'html=req.textbf=BeautifulSoup(html,'lxml')targets_url=bf.find_all('li',class_='photo-list-padding')n=1for each in targets_url:url = each.a.get('href')parses_picture(url,headers,n)n=n+1

python简单的爬取网页上的图片相关推荐

入门级别的Python爬虫代码爬取百度上的图片
简单讲解下python爬取百度图片的方法还有一些小坑(ps:我是搞.net的所以python只是新手讲错勿怪,注意:系统是windows下的) 首先讲下对百度图片上请求的分析:这里我引用下别人的博客, ...
10-24-程序员日-我的第一个python爬虫项目-爬取蜂鸟上的图片
今天是诸位程序员的节日,为了1024勋章,我这个菜鸟也来发个博客网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟浏览器发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序. 在 ...
【爬虫】使用beautifulsoup、requests爬取网页上的图片；循环爬取上市公司高管信息
**声明:本篇博文只用于对于爬虫技术的学习交流.如果侵犯到相关网站利益,请联系我删除博文.造成不便还请见谅.希望各位同学在学习的时候不要过于频繁的去请求. 最近博主在学习前端开发和网页相关的东西,这些 ...
01-windows下python爬取网页上的图片
1.首先下载python,安装环境 pycharm.anaconda的下载与安装移步各个主页下载,一键式安装. - pycharm: http://www.jetbrains.com/pycharm ...
python爬虫之爬取网页基础知识及环境配置概括
记:python爬虫是爬取网页数据.统计数据必备的知识体系,当我们想统计某个网页的部分数据时,就需要python爬虫进行网络数据的爬取,英文翻译为 spider 爬虫的核心 1.爬取网页:爬取整个网页 ...
python爬取图片-Python爬取网页中的图片（搜狗图片）详解
前言最近几天,研究了一下一直很好奇的爬虫算法.这里写一下最近几天的点点心得.下面进入正文: 你可能需要的工作环境: Python 3.6官网下载本地下载我们这里以sogou作为爬取的对象. 首先 ...
Python爬虫，爬取51job上有关大数据的招聘信息
Python爬虫,爬取51job上有关大数据的招聘信息爬虫初学者,练手实战最近在上数据收集课,分享一些代码. 分析所要爬取的网址 https://search.51job.com/list/000 ...
python爬虫实现爬取网页主页信息（html代码）
python爬虫实现爬取网页主页信息(html代码) 1.爬取网站源码 urllib整体介绍: urllib是一个包,收集几个模块来处理网址 urllib.request打开和浏览url中内容 url ...
python第一天----爬取优美图库的图片
python第一天----爬取优美图库的图片首先我们需要爬取的步骤: 1.选择爬取的网页,这里我选取的是https://www.umei.net/bizhitupian/,直接爬取的首页第一页的图片 ...

python简单的爬取网页上的图片

源码示例

源码示例

python简单的爬取网页上的图片相关推荐

最新文章

热门文章