深度学习制作数据集的部分代码实现（解压zip、生成json文件）

1、当数据集是压缩包时，需要解压成图片文件


import zipfile
def unzip_data(src_path,target_path):'''解压原始数据集，将src_path路径下的zip包解压至data/dataset目录下'''if(not os.path.isdir(target_path)):    z = zipfile.ZipFile(src_path, 'r')z.extractall(path=target_path)z.close()else:print("文件已解压")

2、生成json文件

# 说明的json文件信息readjson = {}readjson['all_class_name'] = data_list_path                  #文件父目录readjson['all_class_images'] = all_class_imagesreadjson['class_detail'] = class_detailjsons = json.dumps(readjson, sort_keys=True, indent=4, separators=(',', ': '))with open(train_parameters['readme_path'],'w') as f:f.write(jsons)print ('生成数据列表完成！')

3、自定义data_reader

def data_reader(file_list):'''自定义data_reader'''def reader():with open(file_list, 'r') as f:lines = [line.strip() for line in f]for line in lines:img_path, lab = line.strip().split('\t')img = cv2.imread(img_path)img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)img = np.array(img).astype('float32')img = img/255.0yield img, int(lab) return reader

深度学习制作数据集的部分代码实现（解压zip、生成json文件）相关推荐

java解压zip代码_Java解压zip文件（文本）压缩包
说明:由于我们的日志收集到指定服务器上,会按天压缩成一个zip格式的压缩包,但是有时候需要对这些日志进行处理,人工解压在处理,显示对于大量的日志处理是不行的(效率太低),所以还是要采用程序自动解压效率 ...
深度学习制作自己的数据集—为数据集打上标签保存为txt文件，并进行划分和加载数据集
目录 0 前言 1 为图片数据集打上标签并保存为txt文件 2 将txt文件中的图片标签数据集随机划分为训练集和测试集 3 加载txt文件中的图片标签数据集 0 前言目前是被封控的第四天了,只能呆在 ...
camvid数据集介绍_深度学习图像数据集介绍（MSCOCO）
深度学习图像数据集介绍(MSCOCO) MSCOCO数据集是微软开发维护的大型图像数据集,次数聚集的任务包括识别(recognition),分割(segementation),及检测(detectio ...
深度学习大数据集处理_大规模深度学习数据集管理系统
深度学习大数据集处理 Machine learning is data-driven. Most artificial intelligence (AI) practitioners would a ...
【三维重建】【深度学习】windows10下NeRF代码Pytorch实现
[三维重建][深度学习]windows10下NeRF代码Pytorch实现提示:最近开始在[三维重建]方面进行研究,记录相关知识点,分享学习中遇到的问题已经解决的方法. 文章目录 [三维重建][深度 ...
快速构建深度学习图像数据集，微软Bing和Google哪个更好用？
译者 | Serene 编辑 | 明明出品 | AI 科技大本营(公众号ID:rgznai100) [AI 科技大本营导读]在本文中,作者将利用微软的 Bing Image Search API 来 ...
25个深度学习开源数据集
简介学习深度学习最重要的就是数据集啦.小编在刚开始学习深度学习的时候最头疼的一件事就是没有数据,徒有很多想法,但却无法实现,这里小编给大家介绍25个常用的深度学习开源数据集,这是从国外的一篇博客中看 ...
深度学习研究生如何快速提升代码能力，写出高效的代码？
深度学习代码与前端代码区别深度学习的代码能力与开发后台或者前端的工程代码能力不是一个概念. 写前端代码:脑海中是整个工程的架构,写代码则是把这些架构用 code 具体化. 写深度学习代码:脑海中浮现 ...
国内外深度学习开放数据集下载集合(值得收藏，不断更新)
国内外深度学习开放数据集下载集合(值得收藏,不断更新) 一.Image processing data set 1.MNIST ,是最流行的深度学习数据集之一.这是一个手写数字数据集,包含一个有着 6 ...

深度学习制作数据集的部分代码实现（解压zip、生成json文件）

1、当数据集是压缩包时，需要解压成图片文件

2、生成json文件

3、自定义data_reader

深度学习制作数据集的部分代码实现（解压zip、生成json文件）相关推荐

最新文章

热门文章