MIT-Adobe FiveK Dataset 图片自动下载

MIT-Adobe FiveK Dataset 图片自动下载

　　MIT-Adobe FiveK是现在很多做图像增强（image enhancement）与图像修饰（image retouching）方面研究的人员经常会使用到的数据库。这个数据库中包含5000张dng格式的原始图片及分别由五个（A，B，C，D，E）专业修图人员手工修饰后的图片。关于该数据库的详细资料可以在：https://data.csail.mit.edu/graphics/fivek/上找到。博主目前也在作图像增强方面的算法，在该网站上面，虽然提供了原始图片的下载链接，但是修饰后的图片只提供了每个图片的独立下载链接，手工对这些图片一张张下载的话，肯定是一件令人抓狂的事情，因此博主打算应用一个python脚本来自动下载所需要的图片。

　　查看网页的源码，发现这些经过修饰后的图片的URL存在一定的规律，例如：由C修饰的第一张图片的URL为https://data.csail.mit.edu/graphics/fivek/img/tiff16_c/a0001-jmac_DSC1459.tif。该地址可以划分为三部分：https://data.csail.mit.edu/graphics/fivek/img/（不变），tiff16_c（代表C修饰的图片，如果最后一个字母是D，那么就代表D所修饰的图片），a0001-jmac_DSC1459.tif（文件名）。发现这一规律之后，我们就可以运用简单的python脚本，通过图片的文件名来将图片下载到本地。

　　数据集中所有文件的名称在下载原始图片的时候就可以下载下来，它们被分别放置在名为：filesAdobe.txt和filesAdobeMIT.txt这两个文件中。自动下载的脚本如下：

import os
import sys
from urllib.request import urlretrieve#改变当前工作路径
CURRENT_PATH="/home/luohang/PyLearn"#本文件所在路径
os.chdir(CURRENT_PATH)#改变当前路径#存储图像名称的list
img_lst=[]
#读取图片名列表
with open('filesAdobe.txt', 'r') as f:for line in f.readlines():img_lst.append(line.rstrip("\n"))#去掉换行符

with open('filesAdobeMIT.txt', 'r') as f:for line in f.readlines():img_lst.append(line.rstrip("\n"))#去掉换行符#urlretrieve 函数的回调函数，显示下载进度
def cbk(a,b,c):'''回调函数@a:已经下载的数据包数量@b:数据块的大小@c:远程文件的大小'''per=100.0*a*b/cif per>100:per=100#在终端更新进度sys.stdout.write("progress: %.2f%%   \r" % (per))sys.stdout.flush()#根据文件的url下载图片
for i in img_lst:URL='https://data.csail.mit.edu/graphics/fivek/img/tiff16_c/'+i+'.tif'#下载由C所调整的图像(可根据需要下载其它的四类图像)print('Downloading '+i+':')urlretrieve(URL, '/media/luohang/软件/FiveK_C/'+i+'.tif', cbk)#将所获取的图片存储到本地的地址内

运行结果如下：

转载于:https://www.cnblogs.com/AlgrithmsRookie/p/11550223.html

MIT-Adobe FiveK Dataset 图片自动下载相关推荐

python爬虫图片实例-【图文详解】python爬虫实战——5分钟做个图片自动下载器...
我想要(下)的,我现在就要 python爬虫实战--图片自动下载器之前介绍了那么多基本知识[Python爬虫]入门知识(没看的赶紧去看)大家也估计手痒了.想要实际做个小东西来看看,毕竟: talk ...
【图文详解】python爬虫实战——5分钟做个图片自动下载器
python爬虫实战--图片自动下载器之前介绍了那么多基本知识[Python爬虫]入门知识,大家也估计手痒了.想要实际做个小东西来看看,毕竟: talk is cheap show me the c ...
爬虫python下载-如何用Python爬虫实现百度图片自动下载？
制作爬虫的步骤制作一个爬虫一般分以下几个步骤: 分析需求分析网页源代码,配合开发者工具编写正则表达式或者XPath表达式正式编写 python 爬虫代码效果预览运行效果如下: 存放图片的文 ...
Scrapy图片自动下载配置
在setting.py中配置基本信息 IMAGES_URLS_FIELD = "front_image_url" # 获取当前文件路径 project_dir = os.path. ...
Discuz发帖时将远程图片自动下载并保存至服务器
发帖的时候如果是复制别人的文章,想要直接将这些文章中的图片自动保存到自己的服务器,其实Discuz! X3.2的html编辑器已经默认支持"下载远程图片"功能. 如图: 如果是低版 ...
京东商品图片自动下载抓取 c# 爬虫
该下载工具可以批量或指定单个商品进行商品图片下载.底层采用HtmlAgilityPack库来解析html,web控件采用了webbrower控件.可以做为爬虫的初级入门工具进行代码研究. 工 ...
python爬取某网站高清二次元图片自动下载
第一章 Python 爬取网站信息文章目录一,什么是爬虫? 二.使用步骤 1.引入库 2.伪装header 3.读取信息并过滤,写入文件总结前言本文只做技术讨论,大家不要一直爬这个小网站,记 ...
js实现给定图片路径自动下载
js实现图片自动下载 http://www.giserdqy.com/language/js/111
Dataset之MNIST：MNIST(手写数字图片识别+ubyte.gz文件)数据集的下载(基于python语言根据爬虫技术自动下载MNIST数据集)
Dataset之MNIST:MNIST(手写数字图片识别+ubyte.gz文件)数据集的下载(基于python语言根据爬虫技术自动下载MNIST数据集) 目录数据集下载的所有代码 1.主文件 mni ...

MIT-Adobe FiveK Dataset 图片自动下载

MIT-Adobe FiveK Dataset 图片自动下载相关推荐

最新文章

热门文章