【那些年我们一起看过的论文】之《Handwritten Digit Recognition with a Back-Propagation Network》

/*
这篇论文是1990年发表的，算是上古时期的作品了，当然经典是会随着时间积淀的，受限于计算机的运算性能，很多想法都只是提出却没法验证，但是前辈们的数学推理与证明无疑是非常严谨与可信的。BP算是经典入门算法了，虽然渣本还是不怎么懂，但是慢慢积累嘛。摘录几笔，聊以明志。
*/
BP算法简介：反向传播算法(BP算法)主要由两个环节(激励传播、权重更新)反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。
本文的目的是证明反向传播网络可以在不需要大量预处理的情况下识别图像。它直接输入的是图像信息而不是特征向量。
反向传播(backpropagation)能够帮助解释网络的权重和偏置的改变是如何改变代价函数的。归根结底，它的意思是指计算偏导数∂C/∂wljk和∂C/∂blj。但是为了计算这些偏导数，我们首先介绍一个中间量，δlj，我们管它叫做第l层的第j个神经元的错误量(error)。反向传播会提供给我们一个用于计算错误量的流程，能够把δlj和∂C/∂wljk,∂C/∂blj关联起来。

由先前的知识我们知道，网络收敛需要包含一定数量的该问题的先验知识，而我们要做到的是参数数量尽量少。

采用的训练与测试数据集是“邮政编码”上分割提取出来的，原汁原味真实可靠。然而这些数据分割后存在许多问题：1.少量错误或很难辨认；2.大小不一；3.灰度值不一。所以需要进行一系列预处理作为统一的输入。

我们的网络结构是：多层的，每层是可调整的但相互约束，使用反向传播方法训练。

这里提出了局部、卷积特征，不仅可以用在输入层，也可以应用于后续的隐藏层。我们的网络层结构是一层用来提取特征，下一层做平均（下采样），四层交错分布。

网络结构（论文自带图示画质过于AV，文字描述一下代替）：
输入（一张图片）->H1（4x24x24的特征提取层）->H2(4x12x12的子采样层)->H3(12x8x8的特征提取层)->H4(12x4x4的子采样层)->输出（10个单元的一维向量）

最后，只经过了30次训练，错误率低至1%，而且一大部分的原因是分割出来的数据集本身就很难辨认。我们的结果可以说是数字识别上的顶尖水平了，而且我们使用了尽量少的网络自由参数，并且不需要复杂的预处理，也证明了反向传播网络可以应用到更多的更大的任务中去。

【那些年我们一起看过的论文】之《Handwritten Digit Recognition with a Back-Propagation Network》相关推荐

LeNet：Handwritten Digit Recognition with a Back-Propagation Network
Handwritten Digit Recognition with a Back-Propagation Network 基于反向传播网络的手写数字识别发表时间:1989: 发表期刊/会议:NIP ...
Atrainable feature extractor for handwritten digit recognition(经典文章阅读)
一.文献名字和作者 Atrainable feature extractor for handwritten digit recognition,Fabien Lauer, ChingY. Suen, ...
【那些年我们一起看过的论文】之《Real-Time Loop Closure in 2D LIDAR SLAM》
/* 前言:新入手2d lidar一枚,打算基于cartography进行后续开发,先对论文做一定了解. */ Step one: 先全文过一遍.有网友提供翻译结果,自己对照看.了解梗概. link: ...
【那些年我们一起看过的论文】之《ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation》
/* 天下武功,唯快不破.要想在移动终端或者嵌入式系统上应用,小巧高速是很重要的.ENet在追求高效率的同时兼顾了精度,站在巨人的肩膀上,综合了很多特色的网络结构,并在输入端首先加以压缩达到加速的目的 ...
回归初心——读《Deep Big Simple Neural Nets Excel on Hand-written Digit Recognition》
见个人博客: https://ziyubiti.github.io/2016/10/18/mlppaper/
论文翻译：ImageNet Classification with Deep Convolutional nerual network
这篇文章是我大四毕设的翻译外文文献,第一次翻译,而且以前也没有接触过深度学习方面的内容,很多词语表述还存在问题,有待修改. 基于深度卷积神经网络的图片网络分类 Alex Krizhevsky Univ ...
如何确定论文研究方向，看了很多论文还是没有头绪？
开学不久,小伙伴们也一定在为确定论文研究方向发愁吧!能够研究自己感兴趣的方向,肯定是比研究不喜欢的方向动力大很多的,相信我,动力是支撑熬过写论文困难的一大良药.那么,到底怎样才能够确定论文研究方向呢? ...
旷视研究院张祥雨：3年看1800篇论文，28岁掌舵旷视基础模型研究
第1000篇原摘自:http://mp.weixin.qq.com/s?__biz=MzA3NjIzMTk0NA==&mid=2651649744&idx=2&sn=9f48 ...
如何看一篇论文的基金支持项目和获奖研究项目?
干货预警!此文章通篇都是干货看完,保证你能够了解到学术领域里许多人都不知道的事情.比如作为一项研究需要花费许多时间和精力,更重要的是还需要花费大量的资金,那么那些资金又是从哪里来的呢?在论文中如何看出 ...
Ubuntu下使用CAJViewer看知网论文（2020最新方法）
Ubuntu下使用CAJViewer看知网论文(2020最新方法) 看到网上的教程比较麻烦,而且现在CAJViewer官网已经提供linux支持了,所以分享给大家使用教程到 CAJViewer官网 ...

【那些年我们一起看过的论文】之《Handwritten Digit Recognition with a Back-Propagation Network》

【那些年我们一起看过的论文】之《Handwritten Digit Recognition with a Back-Propagation Network》相关推荐

最新文章

热门文章