论文题目：Towards End-to-End Car License Plates Detection and Recognition with Deep Neural Networks

摘要：

对于自然场景下的车牌检测与识别任务，本文提出了一个统一的可以同时定位车牌与识别字符的端到端的网络框架。相比于分步进行车牌检测与识别的现有方法，单个网络的联合解决方案可以避免中间过程的错误累计，，并且加速了整体的处理速度。即省掉了中间的衔接处理环节。

现状简介：

自动车牌检测与识别是智能交通系统的重要组成部分，其在安防与交通控制等领域具有潜在应用价值，近年来引起了大量研究者的注意。

现有算法表现优异多是在可控条件下或者具有复杂的图像采集系统，对于不可控自然环境下的车牌识别任务仍然具有挑战性。难度主要在于复杂的背景，如商店展牌，窗户，护栏，砖块以及随机的拍摄条件（光线，遮挡，变形，模糊等）。

其实，车牌检测与识别任务是具有强相关性的，即准确的边框检测有助于提高识别精度，同时准确的识别结果可以用来消除假正例。低级的特征可以用于检测与识别。提出的模型可进行端到端训练，无需额外的启发式规则(车牌颜色，字符空间)，避免了中间的字符聚类或字符分割过程。并且本文是集成检测与识别的首例网络框架，其网络架构如下图：

相关研究工作：

车牌检测与识别通常是分别进行处理的，本文分别进行相关工作介绍。

车牌检测：

车牌检测旨在以边框的形式在图像中定位出车牌区域，现有的方法大概分为四类：基于边缘，基于颜色，基于纹理以及基于字符。

基于边缘：车牌通常是具有特定长宽比例的矩形结构，并且相比于图像的其他地方，具有更高的边缘密度，边缘信息广泛用来进行车牌检测。在论文[4]中，通过期望最大化进行边缘聚类来提取具有类似候选车牌形状的密集边缘集合用于车牌检测。论文[5]中，提出了一种新的线密度滤波方法来连接边缘密度高的区域，并从二值边缘图像中去除每行和每列中的稀疏区域。基于边缘的方法计算速度快，但不能应用于复杂的图像，因为它们对不需要的边缘太敏感。

基于颜色：车牌颜色通常不同于车身颜色。在论文[6]中，通过分析目标颜色的像素，使用一个颜色几何模板通过条带搜索定位伊朗车牌。论文[7]提出了一种基于不同前景和背景颜色来检测检测RGB图像中台湾车牌的方法。他们提出了一种对黑白、红白和绿白边缘敏感的彩色边缘检测器。基于颜色的方法可以用来检测倾斜或变形的车牌。然而，他们对自然场景图像中的各种光照条件比较敏感，并且无法区分图像中与车牌的颜色和尺寸具有相似特征的其他物体。

基于纹理：基于纹理的方法试图根据车牌区域中非常规的像素强度分布来检测车牌。Yu等人[8]提出首先使用小波变换得到图像的水平与垂直细节，然后使用经验模式分解( EMD )分析来处理投影数据，并定位表示车牌位置的期望波峰。Giannoukos等人[9]提出了一种同心窗口滑动( SCW )算法，根据图像中车牌纹理的局部不规则性来识别车牌。为了加快检测速度，提出了OCS。基于纹理的方法相比比边缘或颜色使用了更多的判别性特征，但同时导致更高了的计算的复杂度。

基于字符：由于车牌中存在一串字符，最近很多方法使用了包含特定信息的字符特征。周等人[ 2 ]将车牌检测定义为视觉匹配问题，通过为每个字符生成包含诸如方位、特征尺度和相对位置等几何线索的主视觉词( PVW )来进行车牌区域提取。李等人[10]在第一阶段应用最大稳定极值区域( MSER )提取图像中的候选字符，然后构造条件随机场( CRF )来表示车牌字符之间的关系。通过CRF上的信念传播推理，来最终定位车牌。基于字符的方法更可靠，并且可以具有更高的召回率。然而，其性能在很大程度上受到图像背景中其他文本的影响。

车牌识别：

先前的车牌识别工作通常先分割车牌上额字符，然后使用光学字符识别技巧来识别每个分割的字符。在论文[11]中，利用极值区域( ER )从粗略检测到的车牌中分割字符并细化车牌位置。限制性玻尔兹曼机器被用来识别字符。在论文[4]中，采用MSER来进行字符分割，提取局部二进制模式( LBP )特征，并使用线性判别分析( LDA )分类器进行字符识别。

然而字符分割本身就具有挑战性，极易受图像中不均匀光线，阴影，噪声等影响。其对车牌字符识别具有直接影响，如果分割不合理，识别算法再好，也无法正确识别。随着深度神经网络的发展，车牌的无字符分割的直接整体识别方法不断被提出。在论文[12]中，使用隐马尔可夫模型( HMMs )同时执行分割和光学字符识别，其中最可能的标签序列由Viterbi算法确定。在论文[13]中，车牌识别被认为是一个序列标记问题。即卷积神经网络( CNNs )以滑动窗口的方式用于从车牌边界框中提取一系列特征向量然后采用带CTC损失的RNN来标记序列数据，而无需字符分割。

未完待续............

基于深度学习的端到端的车牌检测与识别相关推荐

无人驾驶汽车系统入门（二十六）——基于深度学习的实时激光雷达点云目标检测及ROS实现
无人驾驶汽车系统入门(二十六)--基于深度学习的实时激光雷达点云目标检测及ROS实现在前两篇文章中,我们使用PCL实现了在点云中对地面的过滤和点云的分割聚类,通常来说,在这两步以后我们将对分割出来的 ...
YOLO车牌识别，基于深度学习YOLOv3，Yolov4开发，支持车辆车型识别
YOLO车牌识别,基于深度学习YOLOv3,Yolov4开发,支持车辆车型识别 ID:6999650911717802盐市口会玩的川乌
无人驾驶汽车系统入门：基于深度学习的实时激光雷达点云目标检测及ROS实现...
参加 2018 AI开发者大会,请点击 ↑↑↑ 作者:申泽邦(Adam Shan),兰州大学在读硕士研究生,主要研究方向无人驾驶,深度学习:兰大未来计算研究院无人车团队负责人,自动驾驶全栈工程师. 近 ...
目标检测YOLO实战应用案例100讲-基于深度学习的自动驾驶车辆三维目标检测方法研究与应用
目录基于深度学习的车辆目标检测方法研究基于卷积神经网络的目标检测技术
目标检测YOLO实战应用案例100讲-基于深度学习的交通场景多尺度目标检测算法研究与应用
目录基于深度学习的交通目标检测算法研究传统的目标检测算法基于深度学习的目标检测算法 </
直线检测——对比M-LSD直线检测（基于深度学习）与霍夫曼直线检测
前言 1.直线检测在好多实现应用中能用到到,比如文档扫描,辅助驾驶中的车道线检测,传统的算法用的最多应该属于霍夫曼直线检测,但传统算法都有一个痛苦的调参过程和只能对优化过的使用场景有较好的结果,换个场 ...
基于深度学习的胃癌IHC图像淋巴细胞自动检测
目的:肿瘤浸润性淋巴细胞(TIL)近年来备受关注,有证据表明其与肿瘤预后有关.这些和其他类型免疫细胞的分布和定位是病理学家特别感兴趣的,并经常涉及人工检查免疫组织化学(IHC)图像.我们提出了一种基于 ...
基于深度学习的CT图像肺结节自动检测（系列放在一起）
PS 为了方便查找,将SongpingWang的肺结节系列博客放在一起.(刚好公司要我开始接手这一块)感谢大神具体链接: 0 :https://blog.csdn.net/wsp_113888611 ...
基于深度学习的CT图像肺结节自动检测技术三—肺有效区域提取
开发环境 jupyter notebook/pycharm # 肺有效区域提取 import SimpleITK from scipy import ndimage as ndi from skima ...
基于Python的车牌检测和识别系统
向AI转型的程序员都关注了这个号???????????? 人工智能大数据与深度学习公众号:datayx 1.车牌检测和识别项目介绍车牌的检测和识别的应用非常广泛,比如交通违章车牌追踪,小区或地下 ...

基于深度学习的端到端的车牌检测与识别

摘要：

现状简介：

相关研究工作：

车牌检测：

车牌识别：

基于深度学习的端到端的车牌检测与识别相关推荐

最新文章

热门文章