基于Yolov5目标检测的物体分类识别及定位(一) -- 数据集原图获取与标注
从本篇博客正式开始深度学习项目的记录,由于未可知的保密性,实例代码只会放通用的代码,数据集和训练数据也是不会全部放出。
系列文章:
基于Yolov5目标检测的物体分类识别及定位(一) -- 数据集原图获取与标注
基于Yolov5目标检测的物体分类识别及定位(二) -- yolov5运行环境搭建及label格式转换
基于Yolov5目标检测的物体分类识别及定位(三) -- 训练、测试
基于Yolov5目标检测的物体分类识别及定位 -- 全过程总结
目录
原图获取
分析
爬取图片
数据标注
labelme介绍
labelme安装
启动自动化
labelme使用
原图获取
分析
想要让人工智能有智能,得先训练它,训练要有数据集,制作数据集要有原始数据。
所以搭建系统的第一步,就是从网上爬一些图片来构建数据集,为什么是爬虫爬取呢,因为太多了,手动下载根本不现实。
爬取图片
写个爬虫在百度谷歌爬取图片,搜索关键字然后下拉界面到底(设置一个超级大的数或者一直下拉),获取所有的图片元素。
比如百度图片搜索结果的
@class="imgitem" 标签的 data-objurl 属性(图片原图的绝对地址),注意不能获取 @class="main_img img-hover" 标签元素里的 src 和 data-imgurl 属性,这两个里的链接都是缩略图,不是原图。
部分代码展示如下(稍作修改即可复用):
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
import sys
import urllib
import urllib.request
import requestsclass PicSpider(object):def main(self):chrome_options = Options()chrome_options.add_argument('--headless')self.browser1 = webdriver.Chrome(chrome_options=chrome_options)get_url = 'https://www.baidu.com'self.browser1.get(get_url)time.sleep(5)keys_search = ['cat', 'dog']key_cur = 0 key_max = len(keys_search) - 1 while True:pic_count = 0if key_cur > key_max:breakthe_keyword = keys_search[key_cur]search_url = 'https://image.baidu.com/search/index?tn=baiduimage'\'&ct=201326592&lm=-1&cl=2&ie=gb18030'\'&word=' + the_keyword + \'&fr=ala&ala=1&alatpl=adress&pos=0&hs=2&xthttps=000000'self.browser1.get(search_url)time.sleep(5)pre_height = 0now_height = 0print(self.browser1.execute_script("return document.documentElement.scrollHeight;"))while True:self.browser1.execute_script("scrollBy(0,10000)")time.sleep(3)now_height = self.browser1.execute_script("return document.documentElement.scrollHeight;")print(now_height)if now_height == pre_height:breakif now_height >= 10000000: breakpre_height = now_heighttime.sleep(15) try:es = self.browser1.find_elements_by_xpath('//li[@class="imgitem"]') except Exception as e:print(e)if len(es) == 0:breakfor ae in es:try:aurl = ae.get_attribute('data-objurl') except Exception as e:print(e)else:pic_count += 1try:urllib.request.urlretrieve(aurl, './'+the_keyword+'/'+the_keyword+'_%s.jpg'%pic_count)except Exception as e:print('图片下载异常:' + str(e))else:print('下载成功', pic_count)key_cur += 1self.browser1.quit()if __name__ == '__main__':spider = PicSpider()spider.main()
数据标注
图片爬完,分类放在几个文件夹里,然后就可以开始数据标注了。
我们选择labelme来进行这一步工作。
labelme介绍
Labelme 是一个图形界面的图像标注软件,其设计灵感来自于 http://labelme.csail.mit.edu/
它是用 Python 语言编写的,图形界面使用的是 Qt(PyQt)
对图像进行多边形,矩形,圆形,多段线,线段,点形式的标注(可用于目标检测,图像分割,等任务)。
对图像进行进行 flag 形式的标注(可用于图像分类 和 清理 任务)。
视频标注
生成 VOC 格式的数据集(for semantic / instance segmentation)
生成 COCO 格式的数据集(for instance segmentation)
labelme安装
这里介绍Windows的anaconda安装方法(个人办公习惯)
更多安装参考:数据标注软件labelme详解_黑暗星球-CSDN博客_labelme(感谢)
conda create --name=labelme python=3.6
conda activate labelme
pip install pyqt5
pip install labelme
conda install pillow=4.0.0 # Windows 上的 Pillow5 会导致 dll 加载错误,所以请安装 Pillow4。
启动自动化
接下来是启动labelme进行标注,相关命令如下
labelme # 启动的命令
labelme data_annotated/ # 指定图像文件夹的命令
然后我把命令放在了bat文件中,以便直接双击启动label
CALL conda activate labelme # 不用CALL来启动conda的话,cmd程序就会闪退
labelme D:\Python\yolov5\datas\f16\
labelme使用
最常用的是矩形框标注 create rectangle,点击矩形对角的两个点,命名object label,然后save,保存为json格式文件,存在Annotations文件夹中,以备后用。内容示例图如下:
接下来就是大量的单调还带着繁琐的数据清洗和标注了,在用yolov5训练之前还需要把json转为其需要的txt文件格式,这个放在后续博客中。
参考文章:
数据标注软件labelme详解_黑暗星球-CSDN博客_labelme
基于Yolov5目标检测的物体分类识别及定位(一) -- 数据集原图获取与标注相关推荐
- 关于AI视觉——目标检测与物体分类(基于FZ5C)
首先引入一个概念: 边缘计算:是指 在靠近物或数据源头的一侧,采用网络.计算.存储.应用核心能力为一体的开放平台,就近提供最近端服务.边缘计算处于物理实体和工业连接之间,或处于物理实体的顶端. 文章目 ...
- 目标检测YOLO实战应用案例100讲-小麦麦穗的目标检测与杂草分类识别研究
目录 前言 相关理论知识 彩色图像的空间模型简介 卷积神经网络简介
- 【论文阅读】目标检测中的分类回归特征解耦
论文来源:知网 以下仅仅是学习过程中的部分笔记,用作自己复习. 摘要 ..... 目标检测不仅需要判别图像中存在的目标的类别,还需要回归目标在图像中的位置. 特征耦合具体表现:分类和回归部分的网络共享 ...
- 如何使用CNN进行物体识别和分类_基于CNN目标检测方法(RCNN系列,YOLO,SSD)
转载自:基于CNN目标检测方法(RCNN,Fast-RCNN,Faster-RCNN,Mask-RCNN,YOLO,SSD)行人检测 一.研究意义 卷积神经网络(CNN)由于其强大的特征提取能力,近年 ...
- Yolov5实现物体分类识别和电子围栏
一.程序模块详解 进入电子围栏区域标注:将视频逐帧转化为图片,然后以划线的方式对每张图片进行标注作为进入电子围栏区域的区域. 物体分类识别:基于yolov5模块,对里面的detect.py函数进行修改 ...
- 基于高通SNPE推理引擎的yolov5目标检测算法
上图源自Snapdragon Neural Processing Engine SDK Reference Guide,它展示了一个Deep Learning Neural Network在SNPE环 ...
- 基于轻量级目标检测模型实现手写汉字检测识别计数
一般手写相关的数据集,应该是手写数字听得最多最多的,手写汉字也有,但是与手写数字或者是手写字母的知名度相比就低了很多很多,在我前面的一篇很早期入门的时候写过一篇文章,如下: <Yolov3目标检 ...
- 基于语义分割Ground Truth(GT)转换yolov5目标检测标签(路面积水检测例子)
基于语义分割Ground Truth(GT)转换yolov5目标检测标签(路面积水检测例子) 概述 许多目标检测的数据是通过直接标注或者公开平台获得,如果存在语义分割Ground Truth的标签文件 ...
- yolov5目标检测神经网络——损失函数计算原理
前面已经写了4篇关于yolov5的文章,链接如下: 1.基于libtorch的yolov5目标检测网络实现--COCO数据集json标签文件解析 2.基于libtorch的yolov5目标检测网络实现 ...
- 用opencv的dnn模块做yolov5目标检测
最近在微信公众号里看到多篇讲解yolov5在openvino部署做目标检测文章,但是没看到过用opencv的dnn模块做yolov5目标检测的.于是,我就想着编写一套用opencv的dnn模块做yol ...
最新文章
- RDKit toolkit实战一:调用Python API
- numpy库学习 向量 矩阵 均为有两个[[ ,而秩为1的数组只有一个[ np.array([[]]) 与np.array([])的区别
- 【西安交大】2020年最新深度学习目标检测方法综述
- 相机视场角和焦距_镜头小讲堂(一)镜头的焦距
- c语言图片base64编码,C语言实现Base64编码
- Spring如何加载xml文件
- 晶体封装越小esr越大_晶振电路知识讲解之晶体参数详解
- Hbase中的二级索引
- 计算机桌面出现蓝色底色,桌面图标有蓝色背景的7种解决办法
- QQ的群消息关键字屏蔽
- 几种常用交叉验证(cross validation)方式的比较
- 25 Three.js的点光源THREE.PointLight
- c语言大作业俄罗斯方块,C语言自己写俄罗斯方块(完整版)
- ESP32 + ESP-IDF |GPIO 02 - 使用高分辨率定时器,每100ms时间间隔驱动外部两个LED灯闪烁
- 点沙成金:半导体芯片(转载)
- 模型的偏差与方差的理解
- 为什么mac电脑识别不出来u盘?macbook识别不了u盘的解决办法
- 【bzoj3295】动态逆序对
- 计算机科学与技术的职业需求,计算机科学与技术专业人才需求状况
- Reflex WMS入门系列二十二:物料库存报表