卷积神经网络提取的通用特征

最近的结果表明，卷积神经网络提取的通用描述符非常强大。这篇文章添加了许多实验证明，针对不同识别任务进行了一系列实验，这些实验使用了OverFeat网络，经过训练后可以在ILSVRC13上进行图像分类。文章使用从OverFeat网络提取的特征作为通用图像表示来处理图像分类，场景识别，细粒度识别，属性检测和图像检索等多种识别任务。与各种数据集上所有视觉分类任务中的最先进系统相比，得出了几乎一致的优异结果。结果表明，从卷积网深度学习获得的特征应该是大多数视觉识别任务的主要选择。

为什么要用CNN提取特征？

由于卷积和池化计算的性质，使得图像中的平移部分对于最后的特征向量是没有影响的。从这一角度说，提取到的特征更不容易过拟合。而且由于平移不变性，所以平移字符进行变造是无意义的，省去了再对样本进行变造的过程。
CNN抽取出的特征要比简单的投影、方向，重心都要更科学。不会让特征提取成为最后提高准确率的瓶颈、天花板
可以利用不同的卷积、池化和最后输出的特征向量的大小控制整体模型的拟合能力。在过拟合时可以降低特征向量的维数，在欠拟合时可以提高卷积层的输出维数。相比于其他特征提取方法更加灵活

算法流程

整理训练网络的数据 -> 建立卷积神经网络 -> 将数据代入进行训练 -> 保存训练好的模型 -> 把数据代入模型获得特征向量 ->
用特征向量代替原本的X送入SVM训练 -> 测试时同样将X转换为特征向量之后用SVM预测，获得结果。

一、研究问题

目前的CNN特征进一步说明我们可以学习到用于图像任务的普遍特征，并成功用于新领域。从经过训练的Overfeat卷积神经网络模型采集到基础特征，在ImageNet大规模视觉识别挑战赛（ILSVRC）已经被充分利用。对各种任务，作者不是使用目前常用的图像处理流程，而是简单地利用源自CNN表征的特征，然后用于SVM。如下图所示。

二、方法简介

文中使用公开的CNN网络OverFeat。该网络的结构遵循AlexNet的结构。卷积层每个包含96到1024个大小为3×3到7×7的卷积核。ReLU作为非线性激活。大小为3×3和5×5的最大池化用于不同层以增加对类内变形的鲁棒性。我们使用OverFeat网络的“大”版本。它需要输入尺寸为221×221的彩色图像。OverFeat针对ImageNet ILSVRC 2013的图像分类任务进行了训练，并在2013年挑战的分类任务获得了非常有竞争力的结果。 ILSVRC13包含120万个图像，手动标记1000个类别。

文中列举了一系列针对不同识别任务进行的实验的结果，视觉分类中有图像分类、物体检测、细粒度分类和属性检测。

1.方法
对于所有的实验使用网络的第一个完全连接层响应（第22层）作为特征向量。最大池化层和ReLU在OverFeat中被视为一个单独的层，与AlexNet不同。对于所有的实验，将整个图像（或裁剪的子窗口）的大小调整为221×221。最后输出了一个4096维的向量。有两个设置：

对于所有实验，特征向量被进一步使用L2正则化进行归一化。使用4096维特征向量与支持向量机（SVM）结合来解决不同的分类任务CNN-SVM
进一步对训练集进行数据增强。通过裁剪和旋转图像。在结果中记为：CNNaug + SVM

对于训练数据集(x_i,y_i)(x_i,y_i)，线性SVM公式如下：

2.图像分类
使用的两个识别数据集：Pascal VOC 2007用于物体分类；MIT-67 用于室内场景识别。
Pascal VOC物体分类结果:

上表展示了用于物体图像分类的OverFeat CNN特征的结果，采用mAP标准进行度量。结果中看到，OverFeat CNN特征在mAP方面比以前的所有方法都有大幅度的提高。

不同的层：
直观地说，我们可以推断，越深的层学习的权重对训练的任务变得越具体。我们可以想象每个问题的最佳表示在于网络的中间层。为了进一步研究这一点，我们使用每个网络层的输出为所有类训练了一个线性SVM。结果如下图所示。除了最后的两层全连接层，性能都会提高。这个图说明了使用原始CNN 不同层的特征作为最后SVM的输入是怎样使分类性能提升的。

MIT 67 场景分类结果：
下表展示了MIT室内数据集上不同方法的结果。使用不同类别的平均分类准确度（混淆矩阵对角线的平均值）来衡量的性能。使用线性支持向量机的CNN显着优于大多数方法。比先前最好的AlexConvNet 模型还要高0.1%精确度。

总结

文中使用OverFeat CNN特征向量结合一个简单的分类器来解决不同的识别任务。 CNN模型最初是在ILSVRC 2013数据集中对图像分类任务进行了训练。 CNN提取的特征向量，表明它将成为更先进方法的强有力竞争者。

[论文阅读]用卷积神经网络提取的特征作为SVM分类器的输入CNN Features off-the-shelf: an Astounding Baseline for Recognition相关推荐

[DL/论文阅读]（卷积神经网络）
文章目录 CNN组件 CNN架构 padding填白 pooling池化计算卷积输出大小.参数量和计算量参数量感受野(ReceptiveReceptiveReceptive FieldField ...
[论文阅读] (22)图神经网络及认知推理总结和普及-清华唐杰老师
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
深度学习（十五）基于级联卷积神经网络的人脸特征点定位
基于级联卷积神经网络的人脸特征点定位原文地址:http://blog.csdn.net/hjimce/article/details/49955149 作者:hjimce 一.相关理论本篇博文主要 ...
AAAI 2019 论文解读：卷积神经网络继续进步
机器之心卷积神经网络(CNN)近年来已经取得了很大的成功,但研究者仍在进一步推进研究前沿,提出新的思路和方法.在本文中,技术分析师 Joshua Chou 将解读三篇有关卷积神经网络的 AAAI 2 ...
【论文翻译】卷积神经网络研究综述
论文题目:卷积神经网络研究综述论文来源:卷积神经网络研究综述翻译人:BDML@CQUT实验室卷积神经网络研究综述 Review of Convolutional Neural Network 周 ...
第八届“泰迪杯”数据挖掘挑战赛C题“泰迪杯”奖论文（基于卷积神经网络及集成学习的网络问政平台留言文本挖掘与分析）
目录第一章引言 1.1挖掘背景 1.2挖掘意义 1.3问题描述第二章群众留言分类 2.1数据准备 2.1.1数据描述 2.1.2数据预处理 2.2特征提取 2.3建立模型 2.3.1卷积神经 ...
OpenCV对图片数据集提取HOG特征并用SVM进行识别
OpenCV对图片数据集提取HOG特征并用SVM进行识别代码编程环境设置图片大小源代码提取HOG源代码 SVM识别源代码实验结果代码编程环境 Windows系统: OpenCV3.4.1: ...
利用Hog特征和SVM分类器进行行人检测
1.HOG特征: 方向梯度直方图(Histogram of Oriented Gradient, HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子.它通过计算和统计图像局部区域的 ...
CNN Features off-the-shelf: an Astounding Baseline for Recognition 论文笔记
0 摘要最近的结果表明,卷积神经网络提取的通用描述符非常强大.本文添加了许多证据,证明确实如此.我们针对不同识别任务进行了一系列实验,这些实验使用了OverFeat网络,经过训练后可以在ILSVRC ...

[论文阅读]用卷积神经网络提取的特征作为SVM分类器的输入CNN Features off-the-shelf: an Astounding Baseline for Recognition

文章目录

卷积神经网络提取的通用特征

一、研究问题

二、方法简介

总结

[论文阅读]用卷积神经网络提取的特征作为SVM分类器的输入CNN Features off-the-shelf: an Astounding Baseline for Recognition相关推荐

最新文章

热门文章