Mac 系统下载 & 解压 ImageNet-1k（ILSVRC2012、IN1K）数据集

1.下载方式

- 方式1

直接在ImageNet-1k官网进行下载，但是需要使用.edu学校的邮箱注册账号才可以，比较麻烦。

训练集

下载地址：http://www.imagenet.org/challenges/LSVRC/2012/dd31405981ef5f776aa17412e1f0c112/ILSVRC2012_img_train.tar

验证集

下载地址：http://www.image-net.org/challenges/LSVRC/2012/dd31405981ef5f776aa17412e1f0c112/ILSVRC2012_img_val.tar

- 方式2

直接使用迅雷种子下载，train大概需要8-10小时，val大概需要1小时左右。

训练集

种子: http://academictorrents.com/download/a306397ccf9c2ead27155983c254227c0fd938e2.torrent

验证集

种子: http://academictorrents.com/download/5d6d0df7ed81efd49ca99ea4737e0ae5e3a5f2e5.torren

下载好之后，使用下述指令进行数据校验，大概需要5-10分钟左右。

md5sum ILSVRC2012_img_val.tar ILSVRC2012_img_train.tar
## 如果数据没问题，应该输出下述：
29b22e2961454d5413ddabcf34fc5622 ILSVRC2012_img_val.tar
1d675b47d978889d74fa0da5fadfb00e ILSVRC2012_img_train.tar

2.解压方式

- 训练集train

将ILSVRC2012_img_train.tar解压，1000个类别的*.tar包
大概有150G左右，提前准备好内存空间

使用下述指令即可

mkdir train
tar -xvf ILSVRC2012_img_train.tar -C train

使用下述脚本，将训练集的1000个.tar包解压缩，并删除源.tar包

import glob
import os filelist = glob.glob('./train/*.tar') for f in filelist: os.system("mkdir ./train/" + os.path.split(f)[-1].split('.')[0])for f in filelist:os.system("tar -xvf " + f + " -C ./train/" + os.path.split(f)[-1].split('.')[0])for f in filelist:os.system("rm ./train/" + os.path.split(f)[-1])

使用下列指令，进行验证

cd train
ls -lR|grep "^d"|wc -l. ## 解压成功的话，应该输出 1000
ls -lR|grep "^-"|wc -l ## 解压成功的话，应该输出 1281167

- 验证集val

将ILSVRC2012_img_val.tar解压

使用下述指令即可

mkdir val
tar xvf ILSVRC2012_img_val.tar -C ./val

此时 val 目录下是50000张图像，并没有被分类到1000个文件夹下。因此需要将验证集中的图像进行分类存放。执行命令，解压ILSVRC2012_devkit_t12.tar.gz这个文件：
```
tar -xzf ILSVRC2012_devkit_t12.tar.gz
```

最后，使用下述脚本，将验证集的1000个.tar包解压缩，并删除源.tar包

from scipy import io
import os
import shutildef move_valimg(val_dir='./val', devkit_dir='./ILSVRC2012_devkit_t12'):"""move valimg to correspongding folders.val_id(start from 1) -> ILSVRC_ID(start from 1) -> WINDorganize like:/val/n01440764images/n01443537images....."""# load synset, val ground truth and val images listsynset = io.loadmat(os.path.join(devkit_dir, 'data', 'meta.mat'))ground_truth = open(os.path.join(devkit_dir, 'data', 'ILSVRC2012_validation_ground_truth.txt'))lines = ground_truth.readlines()labels = [int(line[:-1]) for line in lines]root, _, filenames = next(os.walk(val_dir))for filename in filenames:# val image name -> ILSVRC ID -> WINDval_id = int(filename.split('.')[0].split('_')[-1])ILSVRC_ID = labels[val_id-1]WIND = synset['synsets'][ILSVRC_ID-1][0][1][0]print("val_id:%d, ILSVRC_ID:%d, WIND:%s" % (val_id, ILSVRC_ID, WIND))# move val imagesoutput_dir = os.path.join(root, WIND)if os.path.isdir(output_dir):passelse:os.mkdir(output_dir)shutil.move(os.path.join(root, filename), os.path.join(output_dir, filename))if __name__ == '__main__':move_valimg()

3.总结

完成上述操作后，就成功解压。
可能会遇到如下所示的，基本上都是因为内存不够导致的。

【Mac 系统下载解压 ImageNet-1k（ILSVRC2012、IN1K）数据集】相关推荐

Mac系统的解压与压缩
在mac系统下,默认支持解压和压缩zip文件,你可以右键直接解压和压缩.命令行也支持zip和unzip命令. 但是,mac不支持rar文件的解压和压缩. 这时如果碰到.rar压缩包还是挺苦恼的. 推荐 ...
mac 命令行解压7z文件_如何在Mac上快速压缩和解压文件？Mac上解压和压缩文件的方法...
苹果mac电脑怎么压缩和解压文件?Mac电脑仅默认支持把文件压缩成zip格式,解压成zip.tar.gz,bz2等格式,有些操作需要安装第三方软件来完成,这篇文章为大家带来几种关于在Mac上解压和压缩 ...
ILSVRC 2015-VID数据集下载解压记录
ImageNet大规模视觉识别竞赛 ILSVRC 2015-VID数据集下载解压记录: (1)将以下九个文件一起解压,不要单独解压 (2)解压完有imagenet2015文件夹,这个文件夹里是imag ...
mac压缩zip android,【已解决】Mac中如何解压cpgz的压缩文件
折腾: [未解决]Android 4.4.4的小米4Xposed Installer出错:Xposed目前不兼容Android SDK版本19或您的处理器架构armeabi-v7a 期间,下载到一个z ...
解决mac系统下载nrm插件，权限不够的问题
解决mac系统下载nrm插件,权限不够的问题,记录一下 1.终端中输入 sudo chown -R $USER /usr/local 命令 2.会弹出让用户输入密码命令:password:这样的字样 ...
macos安装盘第三方工具制作_简单制作OSXYosemite10.10正式版U盘USB启动安装盘方法教程(全新安装Mac系统)下载|异次元软件世界...
伴随着 iMac 5K Retina 和新的 Mac mini 等硬件的发布,苹果终于都推出了 OS X Yosemite 系统正式版了!相信很多人都已经用上.不过对于一些不想升级,而是打算「全新安装 ...
linux下载/解压ImageNet-1k数据集
文章目录前言一.数据集下载二.解压 1.训练集 2.验证集总结前言本文在Linux中,处理对象为ILSVRC2012数据集(ImageNet-1k) 一.数据集下载 ImageNet官网链 ...
mac 命令行解压7z文件_Mac 有哪些好用的压缩软件？
Mac 默认支持的是 Zip 格式的压缩,功能相对比较少,如果想要支持其他格式的压缩.解压缩就显得无能为力.那么就需要通过安装其他的压缩软件进行补充,整理了几款比较好用的 Mac 解压缩软件推荐给大家 ...
Mac 系统下载并且安装 DBeaver
简介 DBeaver 是 Mac 平台上一款免费通用的数据库工具,允许您查看数据库的结构,执行 SQL 查询和脚本,浏览和导出表数据,处理 BLOB / CLOB 值,修改数据库元对象等. 安装下载 ...
全新MyZip for Mac(超快速解压/压缩工具)
MyZip Mac版是Mac电脑上的一款最优秀.好用的解压神器.MyZip Mac版是一款全新设计,全新体验的解压工具. MyZip Mac版是一款全面,好用的解压.压缩工具.通过选中文件,『右键菜单 ...

【Mac 系统下载解压 ImageNet-1k（ILSVRC2012、IN1K）数据集】

Mac 系统下载 & 解压 ImageNet-1k（ILSVRC2012、IN1K）数据集

1.下载方式

- 方式1

- 方式2

2.解压方式

- 训练集train

- 验证集val

3.总结

【Mac 系统下载解压 ImageNet-1k（ILSVRC2012、IN1K）数据集】相关推荐

最新文章

热门文章

【Mac 系统下载 解压 ImageNet-1k（ILSVRC2012、IN1K）数据集】

Mac 系统下载 & 解压 ImageNet-1k（ILSVRC2012、IN1K）数据集

1.下载方式

- 方式1

- 方式2

2.解压方式

- 训练集train

- 验证集val

3.总结

【Mac 系统下载 解压 ImageNet-1k（ILSVRC2012、IN1K）数据集】相关推荐

最新文章

热门文章

【Mac 系统下载解压 ImageNet-1k（ILSVRC2012、IN1K）数据集】

【Mac 系统下载解压 ImageNet-1k（ILSVRC2012、IN1K）数据集】相关推荐