python批量下载网页图片及列表

背景：

放假在家里没事鼓捣了一个用python实现的简单网页信息抓取的程序。

demo功能：

将千图网的商业海报http://www.58pic.com/topic/419-1.html的（海报名字，海报详情页面地址，海报缩略图地址）通过正则匹配提取出来，然后写入到filed='python_load_demo.txt'中，然后把第一个海报缩略图下载到文件夹imgpath = "python_img"中。

程序版本：

python3.5.2

代码：

#coding=gbk
import os
import urllib.request
import redef getPage(url):headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}req = urllib.request.Request(url=url, headers=headers)page = urllib.request.urlopen(req)return pagedef getHtml(url):page=getPage(url)html = page.read().decode('gbk')#根据网页编码格式可以改变"gbk"return htmldef getImg(html,reg):imgre = re.compile(reg)imglist = re.findall(imgre,html)return imglistdef loadImg(url,path):page=getPage(url)data=page.read()f1=open(path,"wb")f1.write(data)f1.close()def loadList(path,d):f1=open(path,"a+")str1 = ""for t in d:s = ''for v in t:s=s+'\t'+vstr1 = str1+s+"\r\n"f1.write(str1)    f1.close()#千图网主页
url='http://www.58pic.com/topic/419-%d.html';
start_num=1
end_num=5
#正则1（海报图片链接，海报详情页地址，海报名）
reg=r'src="([^"]*jpg).*?<p><a href="([^"]*)" target="_blank" title="[^"]*">([^<]*)</a></p>'
#导出列表文件名
filed='python_load_demo.txt'
imgpath = "python_img"
if not os.path.exists('.\\'+imgpath):os.mkdir('.\\'+imgpath)
for i in range(start_num,end_num+1):turl = (url) % i html = getHtml(turl)d = getImg(html,reg)#如果查找有结果if len(d)>0:print(len(d))loadList(filed,d)loadImg(d[0][0],(imgpath + "/%s.jpg") % d[0][2])

结果：

python批量下载网页图片及列表相关推荐

python下载网页里面所有的图片-Python批量下载网页图片详细教程
很多朋友在网上查找批量下载图片的方法~发觉挺凌乱的,无从下手.这里绿茶小编就来跟大家分享下使用Python批量下载图片方法. 目标:爬取某个网站上n多页的链接,每个链接有n多张图片,每一页对应一个文件 ...
python批量下载网页文件-Python批量下载网页图片详细教程
目标:爬取某个网站上n多页的链接,每个链接有n多张图片,每一页对应一个文件夹,每个文件夹包含n个链接所对应的文件夹. 步骤1:获得网页的所有链接,访问所有链接,获得链接里的图片地址. 步骤2:根据图片 ...
python 批量下载网页图片_Python实现多线程批量下载图片
<派森>(Python)3.13 win32 英文安装版类型:编程工具大小:21M语言:英文评分:8.7 标签: 立即下载爬取图片可真的是一个可遇不可求的机会. 有需求就会动力. 目 ...
python批量下载网页图片，不用再复制粘贴了（7）
此为教程笔记教程地址:https://study.163.com/course/courseMain.htm?courseId=1209401897 感谢老师:城市数据团大鹏代码非常少,想要全部代 ...
python 批量下载网页图片_手把手教你爬取天堂网1920*1080大图片（批量下载）——实战篇|python基础教程|python入门|python教程...
https://www.xin3721.com/eschool/pythonxin3721/ /1 前言/ 上篇文章手把手教你爬取天堂网1920*1080大图片(批量下载)--理论篇我们谈及了天堂网 ...
python 批量下载网页图片_Python 实现简单的爬虫功能 -----批量下载网页中的图片...
我使用的是macPro , mac 自带了python2.7 , 我自己下载了pytho3.6根据操作进行安装后,终端默认的还是 python 2.7, 需要修改为 Python3.6 进入 ~/.b ...
python批量下载网页图片_python批量下载网站马拉松照片的完整步骤
前言目前学习python几个月了,由于自己比较喜欢跑马拉松,已经跑过了很多场比赛,前些天就写了个简单的爬虫爬取了网上三千多场马拉松比赛的报名信息. 今年5月27日,我又参加了巴图鲁关门山壹佰越野50 ...
python 批量下载网页图片_Python批量爬取图片并下载
PS:本文附赠爬汇图网图片的方法本文的目录看这里:前言找资源部分进入编程猫图鉴网找到聚集地获取聚集地网址代码部分导入相应的库re库介绍代码获取整个网站的内容扩展:状态码的意思其他的代码--总体代码关 ...
下载网页图片-如何批量下载网页图片-批量图片下载工具免费
下载网页图片,今天给大家分享一款免费批量下载网页图片软件,支持任意格式的图片批量下载,只需要输入关键词或批量导入网页链接即可下载图片.批量下载任意网页上的图片,每个人都可以拥有各种高清图源.支持批量图 ...

python批量下载网页图片及列表

背景：

demo功能：

程序版本：

代码：

结果：

python批量下载网页图片及列表相关推荐

最新文章

热门文章