Connectionist Text Proposal Network

作者提出了 CTPN(Connectionist Text Proposal Network) 模型, 来直接检测文字序列.(端到端)

CTPN 主要做了三个工作使它这么强:

Detecting Text in Fine-scale proposals（将文本检测任务转化为一连串小尺度文本框的检测）
Recurrent Connectionist Text Proposals（引入RNN 中的 Bidirectional LSTM 提升上一步的文本检测效果）
Side-refinement（连接文本, 并对边缘位置的锚框进行优化）

作者的工作:

Ren 等人使用锚回归机制来使小尺寸滑动窗口能够检测到不同大小的对象 (对象检测).

> 作者借鉴了RPN(Region Proposal network)的思想, 提出了竖直锚回归.--- RPN 在目标检测上有这 stat of art 的表现, 但是对于文字检测有着缺陷

作者借鉴了这个思想, 提出了 竖直锚回归(vertical anchor mechanism), 它可以

同时生成 text/non-text 分数和每个锚框的 y 坐标
更可靠的检测出固定宽度的文本建议 (指可以是文本的一部分), 而不是检测单个字符
它使用与不同大小和高宽比的文本

同时, 受到 RNN 在文字检测中优秀表现的影响 (能利用文本信息改善模型性能), 作者尝试了 LSTM , 他可以缓解来自 RNN 训练过程中梯度消失和梯度爆炸的问题. 并且, 作者更进一步尝试了 BLSTM , 它可以编码来自两个方向的卷积层的信息, 即他可以利用文本的上下文信息.

最后, 作者将竖直锚机制和 BLSTM 结合起来, 开发了一个端到端的可训练模型.

锚框的合并: 当两个锚框

是最想领的两个锚框
距离小于 50 pixels
text / non-text 分数大于0.7

则将两个锚框合并.

并且, 作者利用下式
vc=(cy−cya)/ha,vh=log⁡(h/ha)vc∗=(cy∗−cya)/ha,vh∗=log⁡(h∗/ha)\begin{array}{ll}{v_{c}=\left(c_{y}-c_{y}^{a}\right) / h^{a},} & {v_{h}=\log \left(h / h^{a}\right)} \\ {v_{c}^{*}=\left(c_{y}^{*}-c_{y}^{a}\right) / h^{a},} & {v_{h}^{*}=\log \left(h^{*} / h^{a}\right)}\end{array}vc=(cy−cya)/ha,vc∗=(cy∗−cya)/ha,vh=log(h/ha)vh∗=log(h∗/ha)
来调整处于文本检测边缘位置的锚框.

CTPN 的缺点: 对于非水平的文本的检测效果不好.

对于任意角度的文本检测, 参考论文《Detecting Oriented Text in Natural Images by Linking Segments》, CVPR, 2017.

Connectionist Text Proposal Network相关推荐

CTPN模型详解--Detecting Text in Natural Image with Connectionist Text Proposal Network
文章目录 Abstract 1 Introduction 1.1 Contributions 2 Related Work 3 Connectionist Text Proposal Network ...
场景文字检测(一)--CTPN(Connectionist Text Proposal Network)
论文:Detecting Text in Nature Image with Connectionist Text Proposal Network 在通用目标检测中,每一个物体都有一个定义良好的封闭 ...
detecting text in natural image with connectionist text proposal network
场景文字检测-CTPN原理与实现 - 知乎对于复杂场景的文字识别,首先要定位文字的位置,即文字检测.这一直是一个研究热点. Detecting Text in Natural Image with C ...
《Mask TextSpotter v3: Segmentation Proposal Network for Robust Scene Text Spotting》论文阅读笔记
论文阅读笔记去年在ECCV上发表的<Mask TextSpotter v3: Segmentation Proposal Network for Robust Scene Text Spott ...
【aixiv2016】DeepText A Unified Framework for Text Proposal Generation and Text Detection in Natural I
本文转载自: http://www.cnblogs.com/lillylin/p/6118268.html Zhuoyao Zhong--[aixiv2016]DeepText A Unified F ...
无人机数车--Drone-based Object Counting by Spatially Regularized Regional Proposal Network
Drone-based Object Counting by Spatially Regularized Regional Proposal Network ICCV2017 数据库:https:// ...
目标检测方法简介:RPN(Region Proposal Network) and SSD(Single Shot MultiBox Detector)
原文引用:http://lufo.me/2016/10/detection/ 最近几年深度学习在计算机视觉领域取得了巨大的成功,而在目标检测这一计算机视觉的经典问题上直到去年(2015)才有了完全使用 ...
SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation
摘要我们介绍了相似性组提议网络(SGPN),这是一种用于点云上3D对象实例细分的简单直观的深度学习框架. SGPN使用单个网络来预测点分组建议和每个建议的对应语义类,我们可以从中直接提取实例分割结 ...
High Performance Visual Tracking with Siamese Region Proposal Network全文翻译
摘要近年来,视觉对象跟踪一直是一个基本主题,许多基于深度学习的跟踪器在多个基准测试中取得了最先进的性能.然而,这些跟踪器中的大多数很难以实时速度获得最佳性能.在本文中,我们提出了 Siamese ...
自动驾驶轨迹预测论文阅读（二）TPNet: Trajectory Proposal Network for Motion Prediction
论文链接:https://openaccess.thecvf.com/content_CVPR_2020/papers/Fang_TPNet_Trajectory_Proposal_Network_f ...

Connectionist Text Proposal Network

Connectionist Text Proposal Network相关推荐

最新文章

热门文章