一、特征融合介绍

特征融合的目的是把从图像中提取到的特征，合并成一个比输入图片特征更具有判别能力的特征。

在很多工作中，融合不同尺度的特征是提高分割性能的一个重要手段。低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。如何将两者高效融合，取其长处，弃之糟泊，是改善分割模型的关键。
很多工作通过融合多层来提升检测和分割的性能，按照融合与预测的先后顺序，分类为早融合(Early fusion)和晚融合(Late fusion)。

关于深度特征融合—高低层特征融合，归纳起来共讨论了4类方法：

（1）早融合：

用经典的特征融合方法：在现有的网络（如VGG19）中，用concat或add融合其中的某几层；
FCN、Hypercolumns—>add
Inside-Outside Net(ION)、 ParseNet 、HyperNet—>concat
变种：用DCA特征融合方法代替concat和add操作；

（2）晚融合：

（2.1）采用类似特征金字塔网络（FPN）的思想，对特征融合后进行预测。（FPN一般用于目标检测，提高小目标检测能力）三个变种：
1.YOLO2的方法，只在金字塔的top-down路径的最后一层进行预测，此外还有 U-Net [31] and SharpMask for segmentation, Recombinator networks for face detection, and Stacked Hourglass networks for keypoint estimation.
2.YOLO3的方法，在金字塔的每一层都进行预测
3.FSSD的方法，对 FPN进行细微改造

（2.2）feature不融合，多尺度的feture分别进行预测，然后对预测结果进行综合，如Single Shot MultiBox Detector (SSD) , Multi-scale CNN(MS-CNN)

（3）用一个具有高低特征融合能力的网络替代普通的网络，如Densenet；

（4）不进行高低层特征融合，而是在高层特征预测的基础上，再用底层特征进行预测结果的调整

两个经典的特征融合方法：

（1）concat：系列特征融合，直接将两个特征进行连接。两个输入特征x和y的维数若为p和q，输出特征z的维数为p+q；
（2）add：并行策略，将这两个特征向量组合成复向量，对于输入特征x和y，z = x + iy，其中i是虚数单位。

深度卷积网络--特征融合相关推荐

（四十七：2021.08.25）《ENCASE：使用专业特征和深度卷积网络相结合来对ECG进行分类》
<ENCASE:使用专业特征和深度卷积网络相结合来对ECG进行分类(ENCASE: an ENsemble ClASsifiEr for ECG Classification Using Exp ...
深度学习笔记第四门课卷积神经网络第二周深度卷积网络：实例探究
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
吴恩达深度学习课程之第四门课卷积神经网络第二周深度卷积网络
本文参考黄海广主编针对吴恩达深度学习课程DeepLearning.ai <深度学习课程笔记 (V5.1 )> 第二周深度卷积网络 2.1 为什么要进行实例探究?(Why look at ...
吴恩达deeplearning.ai系列课程笔记+编程作业(11)第四课卷积神经网络-第二周深度卷积网络：实例探究（Deep convolutional models: case studies）
第四门课卷积神经网络(Convolutional Neural Networks) 第二周深度卷积网络:实例探究(Deep convolutional models: case studies) ...
使用Python进行Grad-CAM ++：深度卷积网络的改进视觉解释
在Grad-CAM ++和Guided Grad-CAM ++显著图中,**狗(多个对象)的可视化效果更好(第一行和第二行),并且该类的整个区域都处于局部状态(第三行和第四行),**而Grad-CAM ...
第二周深度卷积网络：实例探究（Deep convolutional models: case studies）
第二周深度卷积网络:实例探究(Deep convolutional models: case studies) 文章目录第二周深度卷积网络:实例探究(Deep convolutional mod ...
【转载】基于深度卷积网络方法的高光谱图像分类
图片来源网络本期为大家推介的是北京理工大学李伟教授关于高光谱图像分类的深度卷积网络方法的报告-Deep Convolutional Neural Network for Hyperspectral ...
深度卷积网络CNN与图像语义分割
转载请注明出处: http://xiahouzuoxin.github.io/notes/html/深度卷积网络CNN与图像语义分割.html 级别1:DL快速上手级别2:从Caffe着手实践级 ...
吴恩达深度学习笔记11-Course4-Week2【深度卷积网络：实例探究】
深度卷积网络:实例探究实例探究(Case studies) 为什么要进行实例探究(Why look at case studies?) 从中获得灵感,借鉴一些效果很好的网络来完成自己的任务. 一.经 ...

深度卷积网络--特征融合

文章目录

一、特征融合介绍

（1）早融合：

（2）晚融合：

深度卷积网络--特征融合相关推荐

最新文章

热门文章