读书笔记：Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks
Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks
著名的faster R-CNN 当然应该好好读一读~
Abstract：
背景：先进的主流网络的目标检测网络，都依赖着region proposal algorithms来推测对象位置。先进的SPPnet Fast-RCNN 都减少了目标检测探测器的运行时间，而且region proposal computation已经成为了目标检测的瓶颈。
方法1：Faster-rcnn中我们提出了region proposal network ，rpn share full-image convolution features with the detection network，因此region proposal几乎是cost free，RPN就是一个CNN网络，可以同时预测对象边界和对象的得分。
答案1：由于是端到端（机器学习/机器学习），因此生成了高质量的区域选择—因此被detection使用。
答案2：我们合并了RPN与Faster RCNN 通过分享他们的卷积特征图——还追了个流行——attention mechanisms——运行速度非常块
最后吹捧一下自己的网络运行速度较快。
Introduction：
背景1：Object detection 基于proposal methods和region-based convolutional neural networks. 虽然region based CNN的计算十分耗算力，但是通过卷积共享从而减少了算力的使用。而最近的的Fast RCNN几乎可以达到实时的速度利用很深的网络，同时忽视region proposal所提出的时间。
困难和挑战1：目前先进的目标检测之中，提出proposal计算时间是主要的瓶颈；
背景2：目前的region proposal的方法是依赖廉价的特征提取和推理的方法。eg selective search是一种很流行的方法——基于低维特征而合并超像素。但是与detection network所相比，这种方法还是较慢；
困难挑战2：无一例外，区域建议步骤消耗了大量的时间；
我们的方法：
我们展示了算法改变—使用深度卷积神经网络——带来了优雅有效的解决方法，从而候选区域的计算是几乎不消耗算力（通过detection netowork computation）。我们将其称为Region Proposal Network，使用先进的目标检测所相同的convolutional layers。 通过共享卷积层，来计算proposal的时间被减少。我们观察卷积特征图可以被region-based-CNN使用，如同fast Rcnn，也可以使用region proposal，目标检测是通过region-based detector对feature map处理。
在这些卷积特征之上，同时我们构建了额外的卷积，在一个规则的网格中进行一个回归和客观得分。FPN是一个全连接卷积神经网络——端到端——产生目标选择区域；
介绍：RPN旨在有效率的提出各种比例和长宽的预测区域。在流行的方法里所进行对比，我们有金字塔图像图a，图像和特征图的金字塔分类器在所有尺寸上运行。我们有金字塔滤波器下图b，特征图上运行多个尺度的滤波器。我们也有先进的anchor box——作为多比例多横纵比的参考。我们的方法可视为金字塔形的回归参考——为了避免图像或滤波器存在着不同尺度/不同横纵比。在使用了anchor box之后，训练表现良好，且使用单比例尺度图像进行训练和测试还有着速度优势；
Fast RCNN + FPN = ？
将以上他两结合，我们提出了一个训练策略——交替（微调region proposal task）*（微调目标检测任务）。这种方法产生了一个统一网络——同时使用convolutional feature 在各个任务所共享；与传统方法的对比：我们将FPN+fast rcnn的检测精度与baseline selective search +fast rcnn对比 ，精度速度都提高，最后再吹捧吹捧自己的网络；
Faster R-CNN detection system：composed of two module
- Module 1 : deep fully convolutional network – propose regions — RPN
- Module 2 : Fast RCNN — uses the propose region可以理解为RPN告诉Faster RCNN往哪看。
Module 1 : REGION PROPOSAL NETWORK
介绍：input（任意尺寸大小） output(矩阵object proposal， 同时还有一套客观性评分)。我们使用fully convolutional network 作为RPN. 我们的最终目标是与fast rcnn 对象检查网络共享计算。我们研究了2F的模型，有5个可共享的卷积层与VGG16，有13个可共享的卷积层。为了产生矩形region proposal，我们在最后一个共享卷积层输出的卷积特征图上滑动，映射到一个较低维度的特征。然后将这个特征提供给两个全连接层，然后被送到两个兄弟连接层——a box-regression layer/ a box-classification box。
Anchors：
在我们滑动的同时，我们可以同时预测出多个region proposal。其中每个位置的最大可能proposals的数量表示为K。相对我们称之为k个参考框，k的proposals是参数化的。锚点位于滑动窗口的中心，并且比例和横纵比相关性，默认使用了3个刻度，3个纵横比，每个滑动位置产生9个锚框（如下图所示）。
移动不变性的锚点：（未看懂）
多尺度锚点作为回归参考：
我们的anchor的设计解决多尺度和横纵比的新方案。目前解决处理多种尺寸和尺度的不同方案，Figure 1（a）构建图像和特征图的金字塔，并且分类器在所有尺寸/尺度上运行，可以理解为同一个分类器/滤波器，不同尺寸/尺度上运行，这种方法比较耗时。（b）在特征图上运行具有多个尺度/尺寸的滤波器，使用不同尺寸/尺度的滤波器，使用不同滤波器大小。同时使用第二种方式一般与第一种方式一块使用，解决多尺寸多尺度问题。
我们的方法：参考的是多尺度/不同纵横比的锚框进行分类和回归。（它仅参考滑动窗口所得出的单尺度的特征图）。避免了枚举多尺度/不同纵横比的图像或滤波器。
由于这种基于锚点的多尺度的设计，我们可以简单地在单尺度图像上计算的卷积特征，刚好符合fast rcnn的输入。
Anchors 的损失函数：
为了训练RPN，我们每一个锚分配了一个二维度标签（是或否）。同时我们为锚点布置了一个正面标签
- i与真实框具有重叠交并比IOU最高
- ii与goundtruth box具有IOU重叠高于0.7的锚点们
我们的条件以i为主，如果IOU低于0.3，我们会锚分配负标签
我们的方法与之前ROI的方法（得出结果是相同的—单尺度的特征窗口），以不同方式实现了边界框的回归。在我们的方法之中，为了考虑不同的大小，学习一组k个边界框回归量。每个回归量负责一个比例和一个纵横比，并且回归时不会共享权重，通过这种方式，即使特征具有固定尺寸/比例的ROI仍然可以被预测。
训练RPN:
RPN可以通过反向传播和随机梯度下降进行端到端的训练，我们的训练仍然是以ROI大为主的采用策略来进行训练。
3.2 RPN与FAST RCNN
以上我们描述了怎么去训练用于产生region proposals，没有去考虑region based object detection去使用proposal去检测网络。我们使用fast rcnn，接下来我们描绘由RPN和FAST RCNN所共享卷积层的FASTER RCNN的算法。
在独立训练的RPN和FAST RCNN都将以不同方式修改卷积层。因此我们要想办法，允许在两个网络之中共享卷积，而不是把他们独立为两个单独的网络，我们讨论了几种方法,在这里我们重点塔伦交替训练的方法。我们先训练RPN，再使用proposal训练Fast RCNN。然后用fast rcnn的卷积初始化给RPN反复进行迭代。通过这种方法我们共享了卷积层，减少了算力的使用。
读书笔记：Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks相关推荐
- 深度学习论文阅读目标检测篇（三）：Faster R-CNN《 Towards Real-Time Object Detection with Region Proposal Networks》
深度学习论文阅读目标检测篇(三):Faster R-CNN< Towards Real-Time Object Detection with Region Proposal Networks&g ...
- Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks(更快的RCNN：通过区域提议网络实现实时)
原文出处 感谢作者~ Faster R-CNN: Towards Real-Time Object Detection with Region ProposalNetworks Shaoqing Re ...
- 《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》论文翻译
原文:https://arxiv.org/abs/1506.01497 Faster R-CNN: Towards Real-Time ObjectDetection with Region Prop ...
- Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks（理解）
0 - 背景 R-CNN中检测步骤分成很多步骤,fast-RCNN便基于此进行改进,将region proposals的特征提取融合成共享卷积层问题,但是,fast-RCNN仍然采用了selectiv ...
- Faster R-CNN 《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》论文笔记
本学弱喜欢在本子上记笔记,但字迹又丑. 望看不懂我的字的大佬不要喷我,看得懂的大佬批评指正.
- Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
代码网址: https://github.com/seamanj/faster-rcnn.pytorch
- 目标检测经典论文——Faster R-CNN论文翻译：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Net
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks Faster R-CNN:通过Region ...
- Faster R CNN
Faster R CNN 3 FASTER R-CNN 我们的Faster R CNN 由两个模块组成,第一个模块是 proposes regions 的全卷积网络,第二个是使用 proposed r ...
- 论文笔记 Object-Aware Instance Labeling for Weakly Supervised Object Detection - ICCV 2019
Object-Aware Instance Labeling for Weakly Supervised Object Detection Kosugi ICCV, 2019 (PDF) (Citat ...
最新文章
- 代码整洁之道----读书笔记
- php++mpdf.mpdf,使用php第三方包mpdf将网页装换成pdf文件【2】
- 转-- iOS 30多个iOS常用动画，带详细注释
- 深入沟通的重要性——《大道至简》第四章读后感
- WebBrowser设置打印页眉页眉和页边距
- 英特尔自动驾驶部门秘密申请IPO 有望成今年美股规模最大IPO
- Integer学习感悟
- 关于NGINX下开启PHP-FPM 输出PHP错误日志的设置(已解决)
- Linux常用命令之：软件安装命令
- poi ppt 作者属性 修改_POI之PPT文本框生成及样式设置实例
- 【算法设计与分析】11 递归树
- 多个Excel文件独立窗口打开方式(一键解决)
- Carson带你Android面试：Android语言篇 (附答案)
- 【小程序】小程序多次扫描不同二维码参数不生效问题
- 【计算机视觉】神经网络推理训练
- 极限思想在计算机中的应用,数学极限思想的应用论文（共2篇）
- git上传到阿里云code
- 自定义画圆进度条，带波浪动态效果
- Java-小写字母转换大写字母
- 安装完ps2019显示计算机丢失,安装ps2019时出现错误代码146