深度学习（六十八）darknet使用

这几天因为要对yolo进行重新训练，需要用到imagenet pretrain，由于网络是自己设计的网络，所以需要先在darknet上训练imagenet，由于网上都没有相关的说明教程，特别是图片路径是怎么和类别标签对应起来的，让我百思不得其解，所以最后就自己去查看了darknet的源码，发现原来作者是用了字符串匹配，来查找图片路径字符串中是否有与类别标签字符串匹配的子字符串，以此判断该类别标签的。

1、darknet对于图片分类训练、验证命令为：

./darknet classifier train cfg/imagenet1k.data cfg/extraction.cfg extraction.weights./darknet classifier valid cfg/imagenet1k.data cfg/extraction.cfg extraction.weights

2、数据格式：数据路径配置主要读取自：cfg/imagenet1k.data

classes=1000
train  = imagenet/darknet_train.txt
valid  = imagenet/darknet_val.txt
backup = backup/
labels = data/imagenet.labels.list
names  = data/imagenet.shortnames.list
top=5

darknet_train.txt，darknet_val.txt的训练格式只有图片路径，比如：

/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10026.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10027.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10029.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10040.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10042.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10043.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10048.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10066.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10074.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_1009.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10095.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10108.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10110.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10120.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10124.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10150.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10159.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10162.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10183.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10194.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10211.JPEG
/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/n01440764/n01440764_10218.JPEG

那么darknet是怎么知道每一行图片路径，对应的类别标签的。其主要是从：

data/imagenet.labels.list

读取标签字符串，然后用类别标签字符串，匹配上面每一行的图片路径，查找是否有子字符串，以此确定类别标签，所以训练的时候，一定要确保图片路径包含了类别标签，比如：n01440764等就是类别标签。

3、由于imagenet的val图片是放在一起的，路径不包含标签，所以需要读取val标签.xml文件，把val的图片根据标签，重新存过一遍，放在对应的类别标签文件：

#coding=utf-8
import os
import shutil
from BeautifulSoup import BeautifulSoup
#train.txt可通过运行脚本caffe/data/get_ilsvrc_aux.sh下载获得
'''with open("../imagenet/train.txt") as f:with open("../imagenet/darknet_train.txt",'w') as w:for l in f.readlines():w.writelines('/home/research/disk1/imagenet/ILSVRC2015/Data/CLS-LOC/train/'+l.split()[0]+'\n')'''#val
dataroot='/home/research/disk1/imagenet/ILSVRC2015/'
vallabel=dataroot+'Annotations/CLS-LOC/val'
valimage=dataroot+'Data/CLS-LOC/val'
with open("../imagenet/darknet_val.txt",'w') as w:for l in os.listdir(vallabel):xml = ""with open(os.path.join(vallabel,l)) as f:xml = f.readlines()xml = ''.join([line.strip('\t') for line in xml])label=BeautifulSoup(xml).find('name').stringfilename=BeautifulSoup(xml).find('filename').string+'.JPEG'saveroot='../temp/'+labelif os.path.exists(saveroot) is False:os.makedirs(saveroot)shutil.copy(os.path.join(valimage,filename),os.path.join(saveroot,filename))w.writelines('/home/research/disk1/compress_yolo/temp/' + filename+ '\n')

深度学习（六十八）darknet使用相关推荐

花书+吴恩达深度学习（十八）迁移学习和多任务学习
目录 0. 前言 1. 迁移学习 2. 多任务学习如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十八)迁移学习和多任务学习花书+吴恩达深度学习(十 ...
深度学习（十八）基于R-CNN的物体检测-CVPR 2014-未完待续
基于R-CNN的物体检测原文地址:http://blog.csdn.net/hjimce/article/details/50187029 作者:hjimce 一.相关理论本篇博文主要讲解2014 ...
深度学习（十八）——YOLOv2(2), 语义分割
YOLOv2 Stronger(续) Hierarchical classiﬁcation(层次式分类) ImageNet的标签参考WordNet(一种结构化概念及概念之间关系的语言数据库).例如: ...
深度学习（十八）：人脸验证（face verification）和人脸识别（face recognition）
这是一系列深度学习的介绍,本文不会涉及公式推导,主要是一些算法思想的随笔记录. 适用人群:深度学习初学者,转AI的开发人员. 编程语言:Python 参考资料:吴恩达老师的深度学习系列视频吴恩达老师 ...
系统学习深度学习（十八）--NIN模型
转自:http://blog.csdn.net/mounty_fsc/article/details/51746111 补充:http://blog.csdn.net/sheng_ai/article ...
深度学习部署(十八): CUDA RunTime API _wa_仿射变换的实现
1. 仿射变换 warpAffine是一种二维仿射变换技术,可以将图像从一种形式转换为另一种形式.它是OpenCV图像处理库中的一个函数,可用于对图像进行平移.旋转.缩放和剪切等操作. 仿射变换可以通 ...
花书+吴恩达深度学习（十九）构建模型策略（训练模型顺序、偏差方差、数据集划分、数据不匹配）
目录 0. 前言 1. 调试模型顺序 2. 偏差方差的解决方法 3. 数据集的选取划分 4. 数据不匹配问题 5. 评估指标的选取 6. 贝叶斯最佳误差如果这篇文章对你有一点小小的帮助,请给个关注, ...
知识图谱论文阅读（八）【转】推荐系统遇上深度学习(二十六)--知识图谱与推荐系统结合之DKN模型原理及实现
学习的博客: 推荐系统遇上深度学习(二十六)–知识图谱与推荐系统结合之DKN模型原理及实现知识图谱特征学习的模型分类汇总知识图谱嵌入(KGE):方法和应用的综述论文: Knowledge Gra ...
花书+吴恩达深度学习（十六）序列模型之双向循环网络 BRNN 和深度循环网络 Deep RNN
目录 0. 前言 1. 双向循环网络 BRNN(Bidirectional RNN) 2. 深度循环网络 Deep RNN 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花 ...
JavaScript学习（六十八）—表单校验案例
JavaScript学习(六十八)-表单校验案例学习内容 (一).如何获取页面的元素-利用id获取格式:var 变量名称 =document.getElementById('要获取的元素的id的值 ...

深度学习（六十八）darknet使用

深度学习（六十八）darknet使用相关推荐

最新文章

热门文章