基于多尺度特征融合的深度监督卷积神经网络路面裂缝检测

导图和笔记资源下载
- - 三级目录# （外 Q1 2021）基于多尺度特征融合的深度监督卷积神经网络路面裂缝检测
- chap2 传统裂纹检测方法
- - 1）Traditional Image Process-Based Crack Detection
  - - Wavelet Transform
    - - 小波转换将路面图像信号转换到频域，并设置适当的阈值用以划分裂纹的高频信号和非裂纹的低频信号
    - Image Thresholding
    - - 灰度检测：裂纹的灰度值通常低于路面背景的灰度值
    - Edge Detection
    - - 路面图像中裂纹的边缘明显，出现了基于滤波器的边缘检测
    - Minimal Path Search-Based
    - - 通过将像素视为图中的节点，可以将灰度图像视为图。以这种方式，路面图像中的裂缝通常表现为具有低强度的连续曲线
  - 2）Machine Learning-Based Crack Detection
  - - 基于机器学习的方法能够集成多个特征以提高裂纹检测的性能
  - 3）CNN-Based Crack Detection
  - - Patch-Based Method
    - - 从路面图像块中分割裂缝。然后，使用上下文感知融合算法融合图像块的预测
    - Encoder–Decoder Structure
    - - 使用SegNet，一种用于图像分割的编码器-解码器架构，作为主干，并融合成对多尺度特征用于像素级裂纹检测
    - Hierarchical Feature Learning
    - - HED，一种突破性的边缘检测方法，用于检测裂纹边缘，分层特征学习可以增强模型学习的收敛性和性能
  - 4）Multiscale Convolutional Feature Fusion
  - - U型结构
    - - （a） U-Net使用具有横向连接的基于U形的结构来集成特征。（b） PANet在U-Net的顶部添加了一个额外的自底向上路径。
      - HED使用深度监督来指导多尺度特征学习，并使用最简单的融合（线性融合）来获得集成特征。黄色实框表示侧网络的输出，预测图使用深度监督卷积特征获得。在HED中，不同卷积阶段的不同尺度特征在训练期间使用深度监督学习，并且单个卷积层用于多尺度特征集成
      - 本文提出的网络分别将最高级别特征映射引入具有深度监控的多尺度特征映射，以充分利用高级特征中的语义信息。
- chap3 多尺度特征融合的路面裂纹检测方法
- - 1）Dense Feature Extractor Based on DeepLab
  - - DeepLab：应用深度实验室作为主干提取不同卷积阶段的多尺度特征，它利用残差学习来解决训练过程中的梯度消失或爆炸问题
    - DeepLab的基本结构由101个具有剩余连接的卷积层组成。它被分为五个卷积阶段，其中每个卷积块被构建为瓶颈设计。
  - 2） Multiscale Feature Fusion
  - - 多尺度特征表示最后一个卷积层在不同阶段产生的特征。U形结构可能存在一个问题：较深的特征在传输到较低层时逐渐被稀释。因此，它不能有效地利用不同感受野的特征的优势。
    - 所提出的多尺度特征融合方式
  - 3）Side Networks
  - - ① 侧网络的成本函数：
    - ② 损失函数：
    - ③ 融合输出预测的损失函数：
    - - Aside：通过使用与侧网络中相同的修正交叉熵损失函数，表示融合图和地面真值图之间的距离
    - ④ 最后，整个网络的总体目标损失函数
- 为了解决CNN的计算成本，提出了光电卷积神经网络（OPCNN）
- 多尺度特征融合
- - 基本概念
  - - 低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多
    - 高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差
  - 典型方法
  - - 早融合
    - 晚融合
    - 用一个具有高低特征融合能力的网络替代普通的网络，如Densenet
    - 不进行高低层特征融合，而是在高层特征预测的基础上，再用底层特征进行预测结果的调整
- chap4 实验结果与分析
- - 实现细节
  - 数据集：三个公共裂缝数据集
  - - 1）CRACK500：包含3792个训练数据图像、696个验证数据图像和2246个测试数据图像。图像分辨率为640×360像素。
    - 2）DeepCrack：包含537个带注释的混凝土表面裂缝图像，384×544像素。数据集分为300个训练图像、100个验证图像和137个测试图像
    - 3) CrackDataset：分享了中国辽宁省14个城市的路面检测图像。它由75幅路面图像组成，包括明显的裂缝
  - 对比方法
  - - 1） HED:HED是一种基于CNN的突破性边缘检测方法，可以快速准确地提取物体的边缘。
    - 2） RCF：RCF是一种改进的基于HED的边缘检测方法
    - 3） U-Net：U-Net的架构是一种具有横向连接的U形结构，广泛用于图像分割。
    - 4） SegNet；5） CrackNet；6） CrackSeg；7） DeepCrack；8） DeepCrack
    - 损失值收敛曲线
    - - 精度收敛曲线
  - 实验评估
  - - 在CRACK500上的结果：如表II所示，与竞争方法相比，我们的方法实现了最佳性能。它在精度、F1分数、像素精度和平均IU方面分别优于第二好的CrackSeg

导图和笔记资源下载

移步我的下载，搜索文章题目

三级目录# （外 Q1 2021）基于多尺度特征融合的深度监督卷积神经网络路面裂缝检测

chap2 传统裂纹检测方法

1）Traditional Image Process-Based Crack Detection

（基于图像处理的裂纹检测）

Wavelet Transform

（小波转换）

小波转换将路面图像信号转换到频域，并设置适当的阈值用以划分裂纹的高频信号和非裂纹的低频信号

Image Thresholding

（图像阈值）

灰度检测：裂纹的灰度值通常低于路面背景的灰度值

Edge Detection

（边缘检测）

路面图像中裂纹的边缘明显，出现了基于滤波器的边缘检测

Minimal Path Search-Based

（基于最小路径搜索）

通过将像素视为图中的节点，可以将灰度图像视为图。以这种方式，路面图像中的裂缝通常表现为具有低强度的连续曲线

2）Machine Learning-Based Crack Detection

（基于机器学习的裂纹检测）

基于机器学习的方法能够集成多个特征以提高裂纹检测的性能

3）CNN-Based Crack Detection

（基于卷积神经网络的裂纹检测）

Patch-Based Method

（基于块的方法）

从路面图像块中分割裂缝。然后，使用上下文感知融合算法融合图像块的预测

Encoder–Decoder Structure

（编码器-解码器结构）

使用SegNet，一种用于图像分割的编码器-解码器架构，作为主干，并融合成对多尺度特征用于像素级裂纹检测

Hierarchical Feature Learning

（分层特征学习）

HED，一种突破性的边缘检测方法，用于检测裂纹边缘，分层特征学习可以增强模型学习的收敛性和性能

4）Multiscale Convolutional Feature Fusion

（多尺度卷积特征融合）

U型结构

（a） U-Net使用具有横向连接的基于U形的结构来集成特征。（b） PANet在U-Net的顶部添加了一个额外的自底向上路径。

HED使用深度监督来指导多尺度特征学习，并使用最简单的融合（线性融合）来获得集成特征。黄色实框表示侧网络的输出，预测图使用深度监督卷积特征获得。在HED中，不同卷积阶段的不同尺度特征在训练期间使用深度监督学习，并且单个卷积层用于多尺度特征集成

本文提出的网络分别将最高级别特征映射引入具有深度监控的多尺度特征映射，以充分利用高级特征中的语义信息。

chap3 多尺度特征融合的路面裂纹检测方法

1）Dense Feature Extractor Based on DeepLab

（基于DeepLab的稠密特征抽取器）

DeepLab：应用深度实验室作为主干提取不同卷积阶段的多尺度特征，它利用残差学习来解决训练过程中的梯度消失或爆炸问题

DeepLab的基本结构由101个具有剩余连接的卷积层组成。它被分为五个卷积阶段，其中每个卷积块被构建为瓶颈设计。

2） Multiscale Feature Fusion

（多尺度特征融合）

多尺度特征表示最后一个卷积层在不同阶段产生的特征。U形结构可能存在一个问题：较深的特征在传输到较低层时逐渐被稀释。因此，它不能有效地利用不同感受野的特征的优势。

所提出的多尺度特征融合方式

3）Side Networks

（具有深度监控的侧网络）

① 侧网络的成本函数：

S＝｛（Xn，Yn），n=1，…，n｝是裂纹训练数据集；
Xn＝{x（n）j，j=1，，|Xn|｝是裂纹图像；
Yn={y（n）j，j=1，…，Xn|}，y（n）∈ {0, 1}是Xn的相应的地面真值二进制裂纹图；
所有标准网络层参数的集合和侧网络的总数分别表示为W和M，权重为 w。

② 损失函数：

lside表示侧网络输出的损耗函数；
αm表示第m侧输出损耗的重量

③ 融合输出预测的损失函数：

Aside：通过使用与侧网络中相同的修正交叉熵损失函数，表示融合图和地面真值图之间的距离

④ 最后，整个网络的总体目标损失函数

为了解决CNN的计算成本，提出了光电卷积神经网络（OPCNN）

多尺度特征融合

基本概念

低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多

高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差

典型方法

早融合

晚融合

用一个具有高低特征融合能力的网络替代普通的网络，如Densenet

不进行高低层特征融合，而是在高层特征预测的基础上，再用底层特征进行预测结果的调整

chap4 实验结果与分析

实现细节

数据集：三个公共裂缝数据集

1）CRACK500：包含3792个训练数据图像、696个验证数据图像和2246个测试数据图像。图像分辨率为640×360像素。

2）DeepCrack：包含537个带注释的混凝土表面裂缝图像，384×544像素。数据集分为300个训练图像、100个验证图像和137个测试图像

3) CrackDataset：分享了中国辽宁省14个城市的路面检测图像。它由75幅路面图像组成，包括明显的裂缝

对比方法

1） HED:HED是一种基于CNN的突破性边缘检测方法，可以快速准确地提取物体的边缘。

2） RCF：RCF是一种改进的基于HED的边缘检测方法

3） U-Net：U-Net的架构是一种具有横向连接的U形结构，广泛用于图像分割。

4） SegNet；5） CrackNet；6） CrackSeg；7） DeepCrack；8） DeepCrack

损失值收敛曲线

精度收敛曲线

实验评估

在CRACK500上的结果：如表II所示，与竞争方法相比，我们的方法实现了最佳性能。它在精度、F1分数、像素精度和平均IU方面分别优于第二好的CrackSeg

深度学习——day9（外 Q1 2021）基于多尺度特征融合的深度监督卷积神经网络路面裂缝检测相关推荐

论文翻译:《6mAPred-MSFF:基于多尺度特征融合机制预测跨物种DNA N6-甲基腺嘌呤位点的深度学习模型》
Title:6mAPred-MSFF: A Deep Learning Model for Predicting DNA N6-Methyladenine Sites across Species B ...
【神经网络与深度学习-TensorFlow实践】-中国大学MOOC课程（十四）（卷积神经网络））
[神经网络与深度学习-TensorFlow实践]-中国大学MOOC课程(十四)(卷积神经网络)) 14 卷积神经网络 14.1 深度学习基础 14.1.1 深度学习的基本思想 14.1.2 深度学习三 ...
【AI易操作-深度学习算法代码解读】基于keras实现图像识别CNN模型-含CNN卷积神经网络模型原理
图像识别为什么要用卷积神经网络CNN?比传统神经网络好在哪里? 核心差别点:多了卷积层+池化层,所以本文主要是梳理卷积层和池化层设计原理+CNN模型实现(基于Keras代码) 传统神经网络的劣势我们 ...
工业检测：基于密集尺度特征融合像素级不平衡学习框架（论文下载）
关注并星标从此不迷路计算机视觉研究院公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式论文地址:https://arxiv.org/pdf/2203.09387v1 ...
CVPR2021|通过多尺度特征融合提升深度估计模型精度
作者丨Andy@知乎来源丨https://zhuanlan.zhihu.com/p/377146332 编辑丨3D视觉工坊 Boosting Monocular Depth Estimation M ...
目标检测YOLO实战应用案例100讲-基于多尺度特征融合的水下小目标检测方法研究
目录水下弱小目标检测算法研究水下目标检测相关研究基础 2.1水下目标检测算法概述
MATLAB算法实战应用案例精讲-【深度学习】多尺度特征融合-工程应用（论文篇四）
目录基于多尺度特征融合与残差收缩网络的齿轮箱故障诊断研究卷积神经网络 2.1 引言
MATLAB算法实战应用案例精讲-【深度学习】多尺度特征融合-目标检测（论文篇五）
目录基于多尺度特征融合的行人检测技术研究行人检测相关基础理论 2.1 基于传统方法的行人检测
MATLAB算法实战应用案例精讲-【深度学习】多尺度特征融合（论文篇二）
目录基于多尺度特征融合的图像语义分割方法研究知识储备 2.1 神经网络理论

深度学习——day9（外 Q1 2021）基于多尺度特征融合的深度监督卷积神经网络路面裂缝检测