Ⅰ.介绍

A.数据学习

自动机器学习可以归纳为，是第p个输入模式，W是学习权值，是识别类标号。
损失函数，理想输出。

，目标是最小化平均损失以及最小化，所以是个折中问题。其中，h是机器的有效容量（h越大会产生过拟合），P是训练样本，其它是常数。

实际上的最小化函数为，H(W)为正则项，其能限制参数空间的容量。

B.梯度学习算法

随机梯度下降：。

C.梯度反向传播

将如此简单的算法应用到复杂的机器学习问题的原因：

1.实际上局部最小解不会影响问题的实现。
2.简单有效的计算梯度的算法，如反向传播。
3.将反向梯度应用到sigmoid单元能解决复杂的学习任务。

D.手写体识别系统的学习问题

最难的一点不是识别一个字符，而是从一个句子或单词中分割出一个个字符。这样的技术已成为标准，叫HOS(Heuristic oversegmentation)。

在人工标签中会遇到的一些问题，例如，将数字4的右边部分识别为标签1还是非字符？数字8的右边是否应该识别为3？问题解决需要用到GTN(Graph transformer network)。

E.全局可训练系统

要使系统能使用后向传播来训练，模型必须是可微分和连续的。

知道Ep对Xn的偏导，就能计算出Ep对W和Xn-1的偏导。

Ⅱ.卷积神经网络进行字符识别

使用传统全连接神经网络进行字符识别的问题：

1.输入图片大，需要的隐藏层神经元多，所以要训练的参数会很多,内存消耗大。无结构网络的主要缺点是无法学习到不变性特征（不会因平移，扭曲等变换而变化的特征）。尽管足够大的全连接神经网络能学习不变性特征，但会导致学习的权值在不同位置上出现相似的权值模式，同时学习这些权值需要很多训练样本。

2.没有考虑输入数据的拓扑结构，如局部相关性（能够提取和结合局部特征去识别目标）。

卷积神经网络的优点：

1.权值共享可以自动学习到平移不变性特征。

2.局部感受野可以提取到局部特征。

A.卷积网络

1.局部感受野

提取局部的初级视觉特征（边缘，端点，角落），可以组合不同初级特征构成高级特征。

2.权值共享

因为局部图像的初级特征检测器对于整幅图非常有用，所以利用这个知识，将图片不同位置的感受野设置为具有相同权值的向量。可以减少训练参数的数量，所以减少机器容量h。

3.时间空间下采样

一旦特征被提取出来，特征的具体位置就变得没那么重要，只有几个特征的相对位置关系比较重要。特征的精确位置不但与识别目标没关，而且存在危害，因为不同的字符样本的位置会不同。所以使用下采用可以使具体位置变得模糊，降低feature map的分辨率，同时减少对平移扭曲变换的敏感度。

卷积神经网络论文学习（Lecun1998）相关推荐

深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-04-基于Python的LeNet之MLP
原文地址可以查看更多信息本文主要参考于:Multilayer Perceptron python源代码(github下载 CSDN免费下载) 本文主要介绍含有单隐层的MLP的建模及实现.建议在阅读 ...
pytorch卷积神经网络_资源|卷积神经网络迁移学习pytorch实战推荐
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达一.资源简介这次给大家推荐一篇关于卷积神经网络迁移学习的实战资料,卷积神经网络迁移学 ...
深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-03-基于Python的LeNet之LR
原地址可以查看更多信息本文主要参考于:Classifying MNIST digits using Logistic Regression python源代码(GitHub下载 CSDN免费下载) ...
实用卷积神经网络运用python pdf_解析卷积神经网络—深度学习实践手册中文pdf高清版...
解析卷积神经网络-深度学习实践手册从实用角度着重解析了深度学习中的一类神经网络模型--卷积神经网络,向读者剖析了卷积神经网络的基本部件与工作机理,更重要的是系统性的介绍了深度卷积神经网络在实践应用方面 ...
深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-01-CNN基础知识点
转载自:http://blog.csdn.net/niuwei22007/article/details/47399913 <CNN基础知识点>From:Convolutional Neu ...
卷积神经网络迁移学习
简单的讲就是将一个在数据集上训练好的卷积神经网络模型通过简单的调整快速移动到另外一个数据集上. 随着模型的层数及模型的复杂度的增加,模型的错误率也随着降低.但是要训练一个复杂的卷积神经网络需要非常多的 ...
【Pytorch神经网络实战案例】20 基于Cora数据集实现图卷积神经网络论文分类
1 案例说明(图卷积神经网络) CORA数据集里面含有每一篇论文的关键词以及分类信息,同时还有论文间互相引用的信息.搭建AI模型,对数据集中的论文信息进行分析,根据已有论文的分类特征,从而预测出未知分 ...
吴恩达深度学习之四《卷积神经网络》学习笔记
一.卷积神经网络 1.1 计算机视觉举了几个例子,可以完成什么样的任务最重要的是特征向量太大了,比如分辨率1000 x 1000 的彩色图片,三个颜色通道,维数是 3000000 意味着隐藏层第一 ...
卷积神经网络 CNN 学习
什么是神经网络人工神经网络(artificial neural network,ANN),简称神经网络(neural network,NN),是一种模仿生物神经网络的结构和功能的数学模型或计算模型. ...

卷积神经网络论文学习（Lecun1998）