文章目录

一、YOLO 系列算法的简单回顾
二、YOLOv8 简介
- 2.1 安装和简单使用
- 2.2 Ultralytics HUB
- - 2.2.1 Upload Dataset
- 2.3 YOLOv8 主要改动
三、YOLOv8 细节详述

论文：暂无

官方文档：https://docs.ultralytics.com/

代码：https://github.com/ultralytics/ultralytics

出处：2023.01 | Ultralytics (同 YOLOv5)

一、YOLO 系列算法的简单回顾

YOLO (You Only Look Once) 是目前非常流行的一种目标检测和图像分割的框架：

YOLOv1：2015 年被提出，其 anchor-free 的新模式和高效的框架结构赢得了很多研究者的关注
YOLOv2：2016 年被提出，在 v1 的基础上添加了 BN、anchor box、dimension cluster 等
YOLOv3：2018 年被提出，使用了更高效的 backbone、特征金字塔、focal loss
YOLOv4：2020 年被提出，引入了很多 BoF 和 BoS 方法，如 Mosic 数据增强、anchor-free detection head、CSP、PAN 等
YOLOv5：2021 年被提出，注重提升模型的性能，添加了很多新的特征用于支持全景分割和目标跟踪
YOLOv6：2020 年被提出，注重将 YOLO 用于工业领域，引入了 RepVGG、CSP、self-distillation、TAL 等多种模块，并选择了最优的结构作为 YOLOv6
YOLOv7：2022 年被提出，也是专门为实时目标检测而设计，引入了很多可训练的 BoF 模块，在不带来额外推理消耗的情况下，提升检测效果

二、YOLOv8 简介

YOLOv8 是由 Ultralytics 提出的，YOLOv8 的一个最大的特点是可扩展性，不仅仅支持一种算法，而是和前面的所有 YOLO 算法框架兼容的，可以通过修改配置参数来轻松的修改训练使用的 YOLO 算法。

YOLOv8 支持以下 3 个任务：

目标检测
实例分割
图像分类

目标检测上的效果：

实例分割上的效果：

图像分类上的效果：

2.1 安装和简单使用

# 方法 1：直接安装
pip install ultralytics# 方法 2：通过 clone 的方法安装
git clone https://github.com/ultralytics/ultralytics
cd ultralytics
pip install -e '.[dev]'

下面以目标检测任务来展示一下相关命令的简单使用，实例分割和图像分类只需要修改 task 和对应的 model 即可！

1、简单使用：

#  python
from ultralytics import YOLO# Load a model
model = YOLO("yolov8n.yaml")  # build a new model from scratch
model = YOLO("yolov8n.pt")  # load a pretrained model (recommended for training)# Use the model
results = model.train(data="coco128.yaml", epochs=3)  # train the model
results = model.val()  # evaluate model performance on the validation set
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image
success = model.export(format="onnx")  # export the model to ONNX format

# CLI(command line interface, 命令行)
yolo task=detect    mode=train    model=yolov8n.yaml      args...classify       predict        yolov8n-cls.yaml  args...segment        val            yolov8n-seg.yaml  args...export         yolov8n.pt        format=onnx  args...

# train
yolo task=detect mode=train model=yolov8n.pt data=coco128.yaml device=0
yolo task=detect mode=train model=yolov8n.pt data=coco128.yaml device=\'0,1,2,3\'

2、训练：

# python
from ultralytics import YOLO# Load a model
model = YOLO("yolov8n.yaml")  # build a new model from scratch
model = YOLO("yolov8n.pt")  # load a pretrained model (recommended for training)# Train the model
results = model.train(data="coco128.yaml", epochs=100, imgsz=640)

# CLI ()
yolo task=detect mode=train data=coco128.yaml model=yolov8n.pt epochs=100 imgsz=640

3、验证：

# python
from ultralytics import YOLO# Load a model
model = YOLO("yolov8n.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model# Validate the model
results = model.val()  # no arguments needed, dataset and settings remembered

# CLI
yolo task=detect mode=val model=yolov8n.pt  # val official model
yolo task=detect mode=val model=path/to/best.pt  # val custom model

4、预测可视化：

# python
from ultralytics import YOLO# Load a model
model = YOLO("yolov8n.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# CLI
yolo task=detect mode=predict model=yolov8n.pt source="https://ultralytics.com/images/bus.jpg"  # predict with official model
yolo task=detect mode=predict model=path/to/best.pt source="https://ultralytics.com/images/bus.jpg"  # predict with custom model

5、模型转换 Export

# python
from ultralytics import YOLO# Load a model
model = YOLO("yolov8n.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom trained# Export the model
model.export(format="onnx")

# CLI
yolo mode=export mod
el=yolov8n.pt format=onnx  # export official model
yolo mode=export model=path/to/best.pt format=onnx  # export custom trained model

2.2 Ultralytics HUB

YOLOv5 的数据格式回顾：

- images- train- img1.jpg- val- img2.jpg
- labels- train- img1.txt- val- img2.txt

其中，labels 中的 txt 内容示例如下：

类别    x_center       y_center         width          height45         0.479492       0.688771        0.955609        0.5955
45       0.736516       0.247188        0.498875        0.476417
50       0.637063       0.732938        0.494125        0.510583
45       0.339438       0.418896        0.678875        0.7815
49       0.646836       0.132552        0.118047        0.0969375
49       0.773148       0.129802        0.0907344       0.0972292
49       0.668297       0.226906        0.131281        0.146896
49       0.642859       0.0792187       0.148063        0.148062

上面的 5 列数据分别表示框的类别编号（coco 中的类别编号）、框中心点 x 坐标，框中心点 y 坐标，框宽度 w，框高度 h

框的坐标参数如何从 COCO 格式 （x_min, y_min, w, h） 转换为 YOLO 可用的格式 （x_center, y_center, w, h）：

YOLO 中的所有坐标参数都要归一化到 (0, 1) 之间，如下图所示
x_center 和 width 如何从坐标点转换为 0~1 的参数：x_center = x_coco/img_witdh, width = width_coco/img_width
y_center 和 height 如何从坐标点转换为 0~1 的参数：y_center = y_coco/img_height, height = height_coco/img_height

2.2.1 Upload Dataset

Ultralytics HUB 使用的数据集合 YOLOv5 一样，使用相同的组织结构和标签形式

在上传自己的数据集的时候，首先要确认的是 dataset root 中存在你的 dataset YAML，然后使用 zip 命令将数据集打包，上传至 https://hub.ultralytics.com/。

以 ultralytics/hub/coco6.zip 为例，coco6.yaml 要放到 coco6 文件夹里边，并一同打包用于上传，整理的格式如下：

YAML 中的内容格式和 YOLOv5 的相同，格式如下：

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path:  # dataset root dir (leave empty for HUB)
train: images/train  # train images (relative to 'path') 8 images
val: images/val  # val images (relative to 'path') 8 images
test:  # test images (optional)# Classes
names:0: person1: bicycle2: car3: motorcycle...

将 COCO 格式的 json 转换成 YOLOv5 格式的 json 方式如下：

import os
import json
from pathlib import Pathdef coco2yolov5(coco_json_path, yolo_txt_path):with open(coco_json_path, 'r') as f:info = json.load(f)coco_anno = info["annotations"]coco_images = info["images"]for img in coco_images:img_info = {"file_name": img["file_name"],"img_id": img["id"],"img_width": img["width"],"img_height": img["height"]}for anno in coco_anno:image_id = anno["image_id"]category_id = anno["category_id"]bbox = anno["bbox"]line = str(category_id - 1)if image_id == img_info["img_id"]:txt_name = Path(img_info["file_name"]).name.split('.')[0]yolo_txt = yolo_txt_path + '{}.txt'.format(txt_name)with open(yolo_txt, 'a') as wf:# coco: [x_min, y_min, w, h]yolo_bbox = []yolo_bbox.append(round((bbox[0] + bbox[2]) / img_info["img_width"], 6))yolo_bbox.append(round((bbox[1] + bbox[3]) / img_info["img_height"], 6))yolo_bbox.append(round(bbox[2] / img_info["img_width"], 6))yolo_bbox.append(round(bbox[3] / img_info["img_height"], 6))for bbox in yolo_bbox:line += ' ' + str(bbox)line += '\n'wf.writelines(line)if __name__ == "__main__":coco_json_path = "part1_all_coco.json"yolo_txt_path = "val/"if not os.path.exists(yolo_txt_path):os.makedirs(yolo_txt_path)coco2yolov5(coco_json_path, yolo_txt_path)

然后登陆 Ultralytics HUB 并上传 dataset：

训练好后，可以下载 Ultralytics App 然后在移动端进行部署。

2.3 YOLOv8 主要改动

YOLOv8（Anchor-free）相对于 YOLOv5（Anchor-based）的改动如下：

Backbone：v8 中仍然使用 CSP 的思想，使用了 C2f 替换了 v5 中的 C3 模块，每个 stage 的 blocks 个数从 [3, 6, 9, 3] 变成了 [3, 6, 6, 3]，同时还使用了 v5 中的 SPPF 模块
Neck：将 v5 中的 PAN-FPN 中的 top-down 上采样阶段中的卷积删除了
Head：使用了解耦头，有三个 branch，包括 cls、reg、projection conv (DFL 使用)
Label Assign：是 anchor-free 的形式，使用 TAL 动态匹配的方式，且未在前面训练阶段使用 ATSS，TAL 从任务对齐的角度触发，根据设计的指标动态选择高质量的 anchor 作为正样本，并且融入到了 loss 的设计中
Loss：分类使用交叉熵损失（也添加了 varifocal loss，但注释掉了），回归使用的 DFL + CIoU loss

Label Assignment：

为了应对 NMS，anchor 分配应该满足如下两个规则：

分类和回归都良好的 anchor 应该能够预测搞分类分数和精确的定位
分类和回归效果未对齐的 anchor 应该有一个低的排序分数然后被抑制

TAL 是怎么做的：

引入了 anchor 的分类和回归是否对齐的衡量指标：anchor alignment metric
指标是怎么计算的：t=sα×uβt = s^{\alpha} \times u^{\beta}t=sα×uβ，其中 s 为分类 score，u 为 IoU 的值，α\alphaα 和 β\betaβ 用于控制分类和回归这两个任务在 anchor 对齐度量中的影响，t 在这两个任务的联合优化中起着关键作用，以实现任务对齐的目标。
理论上的优势：让网络从联合优化的角度动态关注高质量的 anchor（即任务对齐程度更高的 anchor）
如何使用该指标 t 来进行正负样本的分配：对于每个 gt，选择 m 个 t 值最大的 anchor 作为正样本，其他的 anchor 作为负样本
如何将 t 嵌入分类损失函数实现动态分配：
- 为了增加对齐指标高的 anchor 的分类得分，且降低对齐指标低的 anchor 分类得分，在训练期间，使用归一化后的 t^\hat{t}t^ 来替换 anchor 原本学习的二进制标签，如何归一化呢， t^\hat{t}t^ 的最大值是每个 gt 对应的 anchor 的最大 IoU 值 (u)
- 分类交叉熵损失为 Lcls_pos=Σi=1NposBCE(si,ti^)L_{cls\_pos}=\Sigma_{i=1}^{N_{pos}} \ BCE(s_i, \hat{t_i})Lcls_pos=Σi=1Npos BCE(si,ti^)
- 此外，还可以使用 Focal loss 的形式来减轻训练时的正负样本不平衡：Lcls=Σi=1Npos∣ti^−si∣BCE(si,ti^)+Σj=1NnegsjγBCE(sj,0)L_{cls} = \Sigma_{i=1}^{N_{pos}} | \hat{t_i}-s_i|\ BCE(s_i, \hat{t_i}) +\Sigma_{j=1}^{N_{neg}}s_j^{\gamma}\ BCE(s_j, 0)Lcls=Σi=1Npos∣ti^−si∣ BCE(si,ti^)+Σj=1Nnegsjγ BCE(sj,0)
如何将 t 嵌入回归损失函数实现动态分配：
- 已知高质量（分类和回归都很好）的 anchor 有利于模型性能的优化，低质量的 anchor 可能会对模型训练产生负面的影响，所以更关注具有较大 t 的 anchor 来提高回归精度也很重要。这里，也会根据 t^\hat{t}t^ 来重新为每个 anchor 加权来计算回归损失，故 GIoU 重新定义如下：
- Lreg=Σi=1Nposti^LGIoU(bi,bi^)L_{reg} = \Sigma_{i=1}^{N_{pos}}\ \hat{t_i} \ L_{GIoU}(b_i, \hat{b_i})Lreg=Σi=1Npos ti^ LGIoU(bi,bi^)
- TAL 的总训练损失为 Lcls+LregL_{cls}+L_{reg}Lcls+Lreg

TOOD 为什么被 YOLOv6、PP-YOLOE、PicoDet、YOLOv8 都选择了？

首先，单阶段目标检测器的分类和定位不对齐的问题在前面好多方法中都有提及到，GFL 中也做了一大段的分析，在训练的时候分别训练分类和回归头，在预测的时候，使用分类得分来作为 NMS 的排序依据进行框的消除，没有将分类和定位联合起来
FCOS 中，使用 centerness 得分和分类得分相乘来对 NMS 中的框排序，但 centerness 是基于分类特征得到的，而非定位特征来得到的，不是很好的衡量定位准确性的参数
ATSS 中，对每个 gt，选取和 gt 的中心点距离最近的前 N 个框，计算保留下来的框和 gt 的 IoU，将 IoU>均值+方差的 anchor 分配为正样本
OTA 中，将正负样本分配建模成了一个最优传输的问题，gt 为需求方，anchor 为提供方，以 loss 为 anchor 传递到 gt 上的传输花费，计算所有 anchor 传输给每个 gt 的传输花费，然后使用优化方法去优化传输矩阵，根据 dynamic k 方法来选择花费最低的前 k 个 anchor 作为该 gt 的正样本
SimOTA，将 OTA 中的优化方法去掉，直接选择每个传输花费最小的前 k 个 anchor 作为该 gt 的正样本，dynamic k（即某个 gt 需要 k 个 anchor）是根据各个 anchor 和 gt 的 IoU 来计算的，如果对于一个 gt，存在很多高质量（高 IoU）的 anchor，则多分配一些 anchor 负责该 gt，如果某个 gt 存在很少数量的优质 anchor，则少分配一些 anchor 来负责该 gt，也能避免带入一些有害的信息。
Varifocal 中，作者对 IoU 和 Centerness 分支都做了实验，证明上面的这些基于 IoU 的方法都可以为网络带来一些提升，但是，这种独立使用 IoU 和 cls score 的方法并非最优解，因为两个不完善的预测相乘的操作可能会导致 NMS 排序的依据变差，所以 Varifocal 方法中，是直接将 IoU 合并到了分类分支中，构建了 IACS (IoU-Aware Classification Score)，来作为分类分支的学习目标（故此，Varifocal 中的分类学习目标并非二值 0/1 值，而是 0~1 中的值，也就是 IACS 值），同时构建了 Varifocal Loss，对负样本进行降权重。Varifocal Loss 为
TOOD 中，作者认为最优预测不应该是两者简单相乘后的乘积，而是应该同时拥有好的定位和分类得分，即分类头和定位头的一致性更高的 anchor 对网络更加重要，TOOD 设计了 T-Head 在 head 端进行两个任务的对齐，还设计了对一致性的衡量方法，比前述的几种方法都更加全面。

三、YOLOv8 细节详述

YOLOv8 和 YOLOv5 出自同一团队，故 YOLOv8 也可以看做在 YOLOv5 上的优化，结构也很类似，下面来对比一下 YOLOv5 和 YOLOv8 的异同点。

模块	YOLOv8	YOLOv5
输入尺寸	640x640x3	640x640x3
Backbone	C2f（增加了更多梯度流的信息）	C3
Neck	PA-FPN	PA-FPN
Head	解耦 head	耦合 head
Anchor	Anchor-free	Anchor-based
Label Assign	TAL	以 gt 中心点在 grid 的象限位置来判断正负样本
objectness	否	是
输出	20x20x(4+cls) / 40x40x(4+cls) / 80x80x(4+cls)	20x20x(5+cls) / 40x40x(5+cls) / 80x80x(5+cls)

YOLOv8 模型框架结构如下：

YOLOv8 模块细节如下：

主要差别就在于 YOLOv8 中使用了梯度更丰富（源于 YOLOv7 中的 E-ELAN 模块）的 C2f 模块
YOLOv5 中使用的是只进行了一次梯度分流的 C3 模块

YOLOv5 模型框架如下：

YOLOv5 模块细节如下：

【目标检测】55、YOLOv8 | YOLOv5 团队 Ultralytics 再次出手，又实现了 SOTA相关推荐

（20）目标检测算法之YOLOv5计算预选框、详解anchor计算
目标检测算法之YOLOv5计算预选框.详解anchor计算单节段目标检测算法中:预选框的设定直接影响最终的检测精度众所周知,yolov5中采用自适应调整预选框anchor的大小,但万事开头难,配置 ...
【目标检测】YOLOV8实战入门（七）模型基准测试
benchmark模式用于分析YOLOv8的各种导出格式的速度和准确性.基准提供了关于导出格式的大小.其mAP50-95指标(用于目标检测和分割)或accuracy_top5指标(用于分类)以及ONN ...
深度学习100例 | 第51天-目标检测算法（YOLOv5）（入门篇）
大家好,我是『K同学啊』! 拖了好久,终于要开始目标检测系列了.自己想过好几次,想尽快出几期目标检测算法的博客教程,但是一直苦于不知道如何写,才能让大家轻松.快速.高效的入门目标检测算法.这段时间终于 ...
ACM MM 2020视频目标检测挑战赛冠军DeepBlueAI团队技术分享
©PaperWeekly 原创 · 作者|罗志鹏单位|深兰北京AI研发中心研究方向|物体检测 ACM MM(ACM International Conference on Multimedia, ...
【目标检测算法】YOLO-V5实战检测VOC2007数据集
文章目录一.项目克隆与环境配置 1. 下载源码 2. 安装依赖包二.自定义数据集导入和预训练权重 1. 导入自定义数据集 2. 获得预训练权重三.修改配置文件 1. data目录中的yaml文件 ...
目标检测---以制作yolov5的数据集为例，利用labelimg制作自己的深度学习目标检测数据集（正确方法）
以制作yolov5的数据集为例,利用labelimg制作自己的深度学习目标检测数据集的正确方法文章目录前言一.labelimg简单介绍 1 VOC标签格式,保存为xml文件. 2 yolo标签格 ...
【目标检测】基于yolov5的钢筋检测和计数(附代码和数据集)
写在前面: 首先感谢兄弟们的订阅,让我有创作的动力,在创作过程我会尽最大能力,保证作品的质量,如果有问题,可以私信我,让我们携手共进,共创辉煌. 文末获取代码和数据集,请看检测效果: 一. 介绍基于 ...
【目标检测】基于yolov5的红细胞检测和计数(附代码和数据集，Ubuntu系统)
写在前面:"路虽远,行则将至:事虽难,做则必成.只要有愚公移山的志气.滴水穿石的毅力,脚踏实地,埋头苦干,积跬步以至千里,就一定能够把宏伟目标变为美好现实." 首先感谢兄弟们的订阅 ...
目标检测学习笔记——yolov5的坐标输出形式和损失函数计算
一般目标检测的坐标输出都是pred[:,:4],其中pred[:,0]pred[:,1]是中心坐标的偏移量:pred[:,2]pred[:,3]是宽和长的偏移量,要通过公式转化成Xmin,Ymin,X ...

【目标检测】55、YOLOv8 | YOLOv5 团队 Ultralytics 再次出手，又实现了 SOTA