NanoDet:这是个小于4M超轻量目标检测模型
摘要:NanoDet 是一个速度超快和轻量级的移动端 Anchor-free 目标检测模型。
前言
YOLO、SSD、Fast R-CNN等模型在目标检测方面速度较快和精度较高,但是这些模型比较大,不太适合移植到移动端或嵌入式设备;轻量级模型 NanoDet-m,对单阶段检测模型三大模块(Head、Neck、Backbone)进行轻量化,目标加检测速度很快;模型文件大小仅几兆(小于4M)。
NanoDet作者开源代码地址:https://github.com/RangiLyu/nanodet (致敬)
基于NanoDet项目进行小裁剪,专门用来实现Python语言、PyTorch 版本的代码地址:https://github.com/guo-pu/NanoDet-PyTorch
下载直接能使用,支持图片、视频文件、摄像头实时目标检测
先看一下NanoDet目标检测的效果:
同时检测多辆汽车:
查看多目标、目标之间重叠、同时存在小目标和大目标的检测效果:
NanoDet 模型介绍
NanoDet 是一种 FCOS 式的单阶段 anchor-free 目标检测模型,它使用 ATSS 进行目标采样,使用 Generalized Focal Loss 损失函数执行分类和边框回归(box regression)。
1)NanoDet 模型性能
NanoDet-m模型和YoloV3-Tiny、YoloV4-Tiny作对比:
备注:以上性能基于 ncnn 和麒麟 980 (4xA76+4xA55) ARM CPU 获得的。使用 COCO mAP (0.5:0.95) 作为评估指标,兼顾检测和定位的精度,在 COCO val 5000 张图片上测试,并且没有使用 Testing-Time-Augmentation。
NanoDet作者将 ncnn 部署到手机(基于 ARM 架构的 CPU 麒麟 980,4 个 A76 核心和 4 个 A55 核心)上之后跑了一下 benchmark,模型前向计算时间只要 10 毫秒左右,而 yolov3 和 v4 tiny 均在 30 毫秒的量级。在安卓摄像头 demo app 上,算上图片预处理、检测框后处理以及绘制检测框的时间,NanoDet 也能轻松跑到 40+FPS。
2)NanoDet 模型架构
3)NanoDet损失函数
NanoDet 使用了李翔等人提出的 Generalized Focal Loss 损失函数。该函数能够去掉 FCOS 的 Centerness 分支,省去这一分支上的大量卷积,从而减少检测头的计算开销,非常适合移动端的轻量化部署。
详细请参考:Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection
4)NanoDet 优势
NanoDet 是一个速度超快和轻量级的移动端 Anchor-free 目标检测模型。该模型具备以下优势:
- 超轻量级:模型文件大小仅几兆(小于4M——nanodet_m.pth);
- 速度超快:在移动 ARM CPU 上的速度达到 97fps(10.23ms);
- 训练友好:GPU 内存成本比其他模型低得多。GTX1060 6G 上的 Batch-size 为 80 即可运行;
- 方便部署:提供了基于 ncnn 推理框架的 C++ 实现和 Android demo。
基于PyTorch 实现NanoDet
基于NanoDet项目进行小裁剪,专门用来实现Python语言、PyTorch 版本的代码地址:
1)NanoDet目标检测效果
同时检测出四位少年
在复杂街道中,检测出行人、汽车:
通过测试发现NanoDet确实很快,但识别精度和效果比YOLOv4差不少的。
2)环境参数
测试环境参数
系统:Windows 编程语言:Python 3.8 整合开发环境:Anaconda
深度学习框架:PyTorch1.7.0+cu101 (torch>=1.3 即可) 开发代码IDE:PyCharm
开发具体环境要求如下:
- Cython
- termcolor
- numpy
- torch>=1.3
- torchvision
- tensorboard
- pycocotools
- matplotlib
- pyaml
- opencv-python
- tqdm
通常测试感觉GPU加速(显卡驱动、cudatoolkit 、cudnn)、PyTorch、pycocotools相对难装一点
Windows开发环境安装可以参考:
安装cudatoolkit 10.1、cudnn7.6请参考 https://blog.csdn.net/qq_41204464/article/details/108807165
安装PyTorch请参考 https://blog.csdn.net/u014723479/article/details/103001861
安装pycocotools请参考 https://blog.csdn.net/weixin_41166529/article/details/109997105
3)体验NanoDet目标检测
下载代码,打开工程
先到githug下载代码,然后解压工程,然后使用PyCharm工具打开工程;
githug代码下载地址:https://github.com/guo-pu/NanoDet-PyTorch
说明:该代码是基于NanoDet项目进行小裁剪,专门用来实现Python语言、PyTorch 版本的代码
NanoDet作者开源代码地址:https://github.com/RangiLyu/nanodet (致敬)
使用PyCharm工具打开工程
选择开发环境】
文件(file)——>设置(setting)——>项目(Project)——>Project Interpreters 选择搭建的开发环境;
然后先点击Apply,等待加载完成,再点击OK;
进行目标检测
具体命令请参考:
'''目标检测-图片'''
python detect_main.py image --config ./config/nanodet-m.yml --model model/nanodet_m.pth --path street.png'''目标检测-视频文件'''
python detect_main.py video --config ./config/nanodet-m.yml --model model/nanodet_m.pth --path test.mp4'''目标检测-摄像头'''
python detect_main.py webcam --config ./config/nanodet-m.yml --model model/nanodet_m.pth --path 0
【目标检测-图片】
【目标检测-视频文件】
检测的是1080*1920的图片,很流畅毫不卡顿,就是目前识别精度不太高
4)调用模型的核心代码
detect_main.py 代码:
import cv2
import os
import time
import torch
import argparse
from nanodet.util import cfg, load_config, Logger
from nanodet.model.arch import build_model
from nanodet.util import load_model_weight
from nanodet.data.transform import Pipelineimage_ext = ['.jpg', '.jpeg', '.webp', '.bmp', '.png']
video_ext = ['mp4', 'mov', 'avi', 'mkv']'''目标检测-图片'''
# python detect_main.py image --config ./config/nanodet-m.yml --model model/nanodet_m.pth --path street.png'''目标检测-视频文件'''
# python detect_main.py video --config ./config/nanodet-m.yml --model model/nanodet_m.pth --path test.mp4'''目标检测-摄像头'''
# python detect_main.py webcam --config ./config/nanodet-m.yml --model model/nanodet_m.pth --path 0def parse_args():parser = argparse.ArgumentParser()parser.add_argument('demo', default='image', help='demo type, eg. image, video and webcam')parser.add_argument('--config', help='model config file path')parser.add_argument('--model', help='model file path')parser.add_argument('--path', default='./demo', help='path to images or video')parser.add_argument('--camid', type=int, default=0, help='webcam demo camera id')args = parser.parse_args()return argsclass Predictor(object):def __init__(self, cfg, model_path, logger, device='cuda:0'):self.cfg = cfgself.device = devicemodel = build_model(cfg.model)ckpt = torch.load(model_path, map_location=lambda storage, loc: storage)load_model_weight(model, ckpt, logger)self.model = model.to(device).eval()self.pipeline = Pipeline(cfg.data.val.pipeline, cfg.data.val.keep_ratio)def inference(self, img):img_info = {}if isinstance(img, str):img_info['file_name'] = os.path.basename(img)img = cv2.imread(img)else:img_info['file_name'] = Noneheight, width = img.shape[:2]img_info['height'] = heightimg_info['width'] = widthmeta = dict(img_info=img_info,raw_img=img,img=img)meta = self.pipeline(meta, self.cfg.data.val.input_size)meta['img'] = torch.from_numpy(meta['img'].transpose(2, 0, 1)).unsqueeze(0).to(self.device)with torch.no_grad():results = self.model.inference(meta)return meta, resultsdef visualize(self, dets, meta, class_names, score_thres, wait=0):time1 = time.time()self.model.head.show_result(meta['raw_img'], dets, class_names, score_thres=score_thres, show=True)print('viz time: {:.3f}s'.format(time.time()-time1))def get_image_list(path):image_names = []for maindir, subdir, file_name_list in os.walk(path):for filename in file_name_list:apath = os.path.join(maindir, filename)ext = os.path.splitext(apath)[1]if ext in image_ext:image_names.append(apath)return image_namesdef main():args = parse_args()torch.backends.cudnn.enabled = Truetorch.backends.cudnn.benchmark = Trueload_config(cfg, args.config)logger = Logger(-1, use_tensorboard=False)predictor = Predictor(cfg, args.model, logger, device='cuda:0')logger.log('Press "Esc", "q" or "Q" to exit.')if args.demo == 'image':if os.path.isdir(args.path):files = get_image_list(args.path)else:files = [args.path]files.sort()for image_name in files:meta, res = predictor.inference(image_name)predictor.visualize(res, meta, cfg.class_names, 0.35)ch = cv2.waitKey(0)if ch == 27 or ch == ord('q') or ch == ord('Q'):breakelif args.demo == 'video' or args.demo == 'webcam':cap = cv2.VideoCapture(args.path if args.demo == 'video' else args.camid)while True:ret_val, frame = cap.read()meta, res = predictor.inference(frame)predictor.visualize(res, meta, cfg.class_names, 0.35)ch = cv2.waitKey(1)if ch == 27 or ch == ord('q') or ch == ord('Q'):breakif __name__ == '__main__':main()
本文分享自华为云社区《目标检测模型NanoDet(超轻量,速度很快)介绍和PyTorch版本实践》,原文作者:一颗小树x。
点击关注,第一时间了解华为云新鲜技术~
NanoDet:这是个小于4M超轻量目标检测模型相关推荐
- 超轻量目标检测模型NanoDet(速度很快)PyTorch版本实践
文章目录 前言 NanoDet 模型介绍 1)NanoDet 模型性能 2)NanoDet 模型架构 3)NanoDet损失函数 4)NanoDet 优势 基于PyTorch 实现NanoDet 1) ...
- 1.8M超轻量目标检测模型NanoDet,比YOLO跑得快
机器之心报道,项目作者:RangiLyu 目标检测一直是计算机视觉领域的一大难题,其目标是找出图像中的所有感兴趣区域,并确定这些区域的位置和类别.目标检测中的深度学习方法已经发展了很多年,并出现了不同 ...
- windows缩放200模糊_1.8M超轻量目标检测模型NanoDet,比YOLO跑得快,上线两天Star量超200...
机器之心报道 项目作者:RangiLyu 如何把 anchor-free 模型移植到移动端或嵌入式设备?这个项目对单阶段检测模型三大模块(Head.Neck.Backbone)进行轻量化,得到模型大小 ...
- 收藏 | 超轻量目标检测模型NanoDet,比YOLO跑得快,上线两天Star量超200
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:机器之心 AI博士笔记系列推荐 周志华<机器学习> ...
- 1.8M超轻量目标检测模型NanoDet,比YOLO跑得快,上线两天Star量超200
点击 机器学习算法与Python学习 ,选择加星标 精彩内容不迷路 作者|RangiLyu,本文由机器之心报道 目标检测一直是计算机视觉领域的一大难题,其目标是找出图像中的所有感兴趣区域,并确定这些区 ...
- 超轻量目标检测模型NanoDet
华为P30上用NCNN移植跑benchmark,每帧仅需10.23毫秒,比yolov4-tiny快3倍,参数量小6倍,COCO mAP(0.5:0.95)能够达到20.6 .而且模型权重文件只有1.8 ...
- 用OpenCV实现超轻量的NanoDet目标检测模型!
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨nihate 审稿丨邓富城 编辑丨极市平台 导读 本文作者用OpenCV部署了超轻量目标检测模型 ...
- 0.99M,150FPS,移动端超轻量目标检测算法PP-PicoDet来了!
说到目标检测,那可谓当前的自动驾驶.新零售.智慧工业等热门行业中的关键技术之一.目标检测不仅在行人.车辆.商品以及火灾检测等任务中发挥着极其关键的价值,在目标跟踪.姿态识别.手势控制.图像搜索等复合任 ...
- 【20201127期嵌入式AI周报】NanoDet 目标检测模型、移植 ncnn到 RISC-V等!
导读:本期为 AI 简报 20201127 期,将为您带来 8 条相关新闻,希望对您有所帮助~ 一共2000+字,全篇看完需要5~7分钟 1. NanoDet:轻量级(1.8MB).超快速(移动端97 ...
最新文章
- audio to text
- Android 动态设置 layout_centerInParent
- linux下面调试C、C++
- 内联滴灌行业调研报告 - 市场现状分析与发展前景预测
- dw cc链接mysql_Adobe Dreamweaver CC MySQL连接 报404错误的解决方法_MySQL
- 服务器显卡驱动重装系统,windows7旗舰版系统重装显卡驱动的方法
- 有关网线接法的几个问题
- 程序媛为了万圣节PARTY可谓是别出心裁,她居然cos了一只bug
- 没有CANdela,无法编辑cdd数据库文件,也能轻松完成诊断测试,立省大二十个w
- Python 数据结构 之 线性表 的链式存储结构
- 嵌入式系统导论(彭蔓蔓等·人民邮电出版社)课后习题答案
- 移动互联网对工作和生活的负面影响
- ubuntu 下tftp服务器配置笔记
- VoIP网络电话回音产生的原因分析
- FR107-ASEMI快恢复二极管FR107可以做整流桥用吗
- 驱动级键盘记录器与安全密码框(能获取QQ密码)
- jQuery控制 input 不可编辑
- 通达信N字形态选股公式,突破前期高点发出信号
- Android-自定义心电图控件
- 在linux上剪视频,在Linux系统上安装和使用Video Trimmer快速修剪视频