Glint360K | 使用指南

首先恭喜格林深瞳3月18日在科创板成功上市

一、介绍

Glint360K数据集包含36万类别的1800万张图像，不论是类别数还是图像数，相比MS1MV2数据集都有大幅提升。

这是一个号称全球最大最干净的人脸数据集，

下载地址（我自己上传的）：链接：https://pan.baidu.com/s/1K3UDER9u352oNIyph-FI1w?pwd=3o3i
提取码：3o3i
--来自百度网盘超级会员V5的分享

二、解压和解码

下载好了之后先解压

cat glint360k_* | tar -xzvf -

然后它是.rec格式数据，下面我们将它解码成图片

先简单配置一个小环境：

conda create -n glint
source activate glint
pip install mxnet -i https://pypi.douban.com/simple
pip install opencv-python -i https://pypi.douban.com/simple

编写处理代码：

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function
import argparse
import os
import cv2
import mxnet as mx
def main(args):include_datasets = args.include.split(',')rec_list = []for ds in include_datasets:path_imgrec = os.path.join(ds, 'train.rec')path_imgidx = os.path.join(ds, 'train.idx')imgrec = mx.recordio.MXIndexedRecordIO(path_imgidx, path_imgrec, 'r')  # pylint: disable=redefined-variable-typerec_list.append(imgrec)if not os.path.exists(args.output):os.makedirs(args.output)imgid = 0for ds_id in range(len(rec_list)):imgrec = rec_list[ds_id]s = imgrec.read_idx(0)header, _ = mx.recordio.unpack(s)assert header.flag > 0seq_identity = range(int(header.label[0]), int(header.label[1]))for identity in seq_identity:s = imgrec.read_idx(identity)header, _ = mx.recordio.unpack(s)for _idx in range(int(header.label[0]), int(header.label[1])):s = imgrec.read_idx(_idx)_header, _img = mx.recordio.unpack(s)label = int(_header.label[0])class_path = os.path.join(args.output, "id_%d" % label)if not os.path.exists(class_path):os.makedirs(class_path)_img = mx.image.imdecode(_img).asnumpy()[:, :, ::-1]  # to bgrimage_path = os.path.join(class_path, "%d_%d.jpg" % (label, imgid))cv2.imwrite(image_path, _img)imgid += 1if imgid % 10000 == 0:print(imgid)
if __name__ == '__main__':parser = argparse.ArgumentParser(description='do dataset merge')# generalparser.add_argument('--include', default='', type=str, help='')parser.add_argument('--output', default='', type=str, help='')args = parser.parse_args()main(args)

执行：

python process.py --include=/glint360k/glint360k --output=/glint360k/output

会像这样生成每个id一个文件夹，每个文件夹里面都是同一个人的照片

Glint360K | 使用指南相关推荐

计算机视觉--CV技术指南文章汇总
前言本文汇总了过去本公众号原创的.国外博客翻译的.从其它公众号转载的.从知乎转载的等一些比较重要的文章,并按照论文分享.技术总结三个方面进行了一个简单分类.点击每篇文章标题可阅读详细内容欢迎关注 ...
超详细中文预训练模型ERNIE使用指南-源码
作者 | 高开远,上海交通大学,自然语言处理研究方向最近在工作上处理的都是中文语料,也尝试了一些最近放出来的预训练模型(ERNIE,BERT-CHINESE,WWM-BERT-CHINESE),比对 ...
入门指南目录页 -PaddlePaddle 飞桨入门指南 FAQ合集-深度学习问题
入门指南目录页 -PaddlePaddle 飞桨入门指南 FAQ合集 GT_Zhang关注 0.1012019.08.01 18:43:34字数 1,874阅读 795 Hi,欢迎各位来自Paddl ...
ASIC设计-终极指南
ASIC设计-终极指南 ASIC Design – The Ultimate Guide ASIC设计-终极指南 ASICs代表特定于应用的集成电路,指的是针对特定应用而设计的半导体解决方案,与其他解 ...
Python神经网络集成技术Guide指南
Python神经网络集成技术Guide指南本指南将介绍如何加载一个神经网络集成系统并从Python运行推断. 提示所有框架的神经网络集成系统运行时接口都是相同的,因此本指南适用于所有受支持框架(包 ...
深度学习框架集成平台C++ Guide指南
深度学习框架集成平台C++ Guide指南这个指南详细地介绍了神经网络C++的API,并介绍了许多不同的方法来处理模型. 提示所有框架运行时接口都是相同的,因此本指南适用于所有受支持框架(包括Te ...
HTML5与CSS3权威指南之CSS3学习记录
title: HTML5与CSS3权威指南之CSS3学习记录 toc: true date: 2018-10-14 00:06:09 学习资料--<HTML5与CSS3权威指南>(第3版) ...
Maven入门指南⑦：Maven的生命周期和插件
Maven入门指南⑦:Maven的生命周期和插件一个完整的项目构建过程通常包括清理.编译.测试.打包.集成测试.验证.部署等步骤,Maven从中抽取了一套完善的.易扩展的生命周期.Maven的生命周 ...
ini文件怎么使用_ftp文件下载工具，ftp文件下载工具是怎么使用的？使用指南
ftp文件下载工具是什么工具,可能有人会回答说不知道,因为一般只有从事网站管理的工作者会使用的多一点.但不是每个人生来就会的,所以刚开始肯定都会学习怎么使用.这篇文章就来教一下大家ftp文件下载工具是 ...

Glint360K | 使用指南

Glint360K | 使用指南相关推荐

最新文章

热门文章