Dan Deng——【AAAI2018】PixelLink_Detecting Scene Text via Instance Segmentation

作者和代码

tensorflow代码

关键词

文字检测、多方向、直接回归、$$xywh\theta$$、one-stage、开源

方法亮点

使用instance segmentation的思路做（利用了二类分类+每个像素点与周围8个顶点的link分类）
利用图像处理方法进行后处理，不需要用NMS

方法概述

本文方法采用instance segmentation思路，预测text/non-text和pixel-link关系，再使用简单的图像处理的方式进行后处理来去除噪声。

方法细节

方法流程图

网络结构

Link定义

两个像素的都是positive（text）-> link是positive
一个是text，一个是non-text -> link是positive
两个都是non-text -> link是negative

损失函数

总损失

pixel 损失（Instance-Balanced Cross-Entropy Loss）

利用每个instance的面积来对其loss进行加权，目的是为了提高小目标对loss的贡献。

link损失

link_CE是Cross-Entropy loss。

后处理

通过pixel信息来链接Text/non-text prediction的score map里的像素，得到instance segmentation map
利用OpenCV的minAreaRect来提取oriented rectangle
使用后处理过滤噪声
- 去掉短边小于10个像素的box
- 去掉面积小于300的box
- 其他利用长宽比等（参数设置为在训练集上做统计，利用百分比对应的值作为参数，例如99%以上的文字短边都大于10,）

实验结果

ICDAR2015

MSRA-TD500

ICDAR2013

模型分析对比实验

总结与收获

这篇方法采用纯分割的思路，完全没有利用目标检测的方法，连后处理都没用nms，方法还是比较特别的。

转载于:https://www.cnblogs.com/lillylin/p/9955024.html

【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation相关推荐

【论文速读】城市自动驾驶应用的概率语义地图
点云PCL免费知识星球,点云论文速读. 标题:Probabilistic Semantic Mapping for Urban Autonomous Driving Applications 作者:D ...
【论文速读】RandLA-Net大规模点云的高效语义分割
点云PCL免费知识星球,点云论文速读. 文章:RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds 作者:Qi ...
【论文速读】基于投影方法的激光雷达点云处理比较
点云PCL免费知识星球,点云论文速读. 文章:LiDAR point-cloud processing based on projection methods: a comparison 作者:Gui ...
【论文速读】基于图像的伪激光雷达三维目标检测
点云PCL免费知识星球,点云论文速读. 标题:End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection 作者:Rui Qian, Divy ...
【点云论文速读】最佳点云分割分析
点云PCL免费知识星球,点云论文速读. 标题:Learning to Optimally Segment Point Clouds 作者:Peiyun Hu, David Held 星球ID:part ...
【点云论文速读】点云高质量3D表面重建
点云PCL免费知识星球,点云论文速读. 标题:Local Implicit Grid Representations for 3D Scenes 作者:Chiyu "Max" Ji ...
【点云论文速读】6D位姿估计
点云PCL免费知识星球,点云论文速读. 标题:MoreFusion: Multi-object Reasoning for 6D Pose Estimation from Volumetric Fus ...
【点云论文速读】点云分层聚类算法
点云PCL免费知识星球,点云论文速读. 标题:PAIRWISE LINKAGE FOR POINT CLOUD SEGMENTATION 作者:Lu, Xiaohu and Yao, Jian and ...
【ECCV2016论文速读】回归框架下的人脸对齐和三维重建
本文来源微信公众号:深度学习大讲堂,已授权发布. 作者:刘峰,四川大学计算机学院生物特征识别实验室博士三年级学生,导师游志胜教授.赵启军博士.研究方向为机器学习与模式识别(三维人脸建模与识别.二维人脸 ...
【点云论文速读】基于优化的视觉惯导里程计与GPS的紧耦合的融合方案
转载自:https://mp.weixin.qq.com/s/Y-h7eto1Zc_Mkzlh653vpg [点云论文速读]基于优化的视觉惯导里程计与GPS的紧耦合的融合方案原创 dianyunPC ...

【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation