资源下载地址：https://download.csdn.net/download/sheziqiong/85884967
资源下载地址：https://download.csdn.net/download/sheziqiong/85884967

利用 CNN 进行手写数字识别

实验目的和要求

利用 CNN 进行手写数字识别

框架：TenserFlow（PyTorch 也行）

数据集：The Mnist Database of handwritten digits

网络结构：LeNet-5;

具体任务：

利用上述数据集/网络结构/框架实现手写数字识别，可以参考代码

参考链接：

实验内容和原理

CNN

卷积神经网络（CNN）是一种特殊的多层神经网络。像几乎所有其他的神经网络一样，它也是用反向传播算法来训练的，只是用特殊结构来以更少的预处理识别像素图中的 pattern。而且它对一些简单的几何变换有一定的鲁棒性。

基础的 CNN 由卷积(convolution), 激活(activation), 和池化(pooling)三种结构组成。当处理图像分类任务时，我们会把 CNN 输出的特征空间作为全连接层或全连接神经网络(fully connected neural network, FCN)的输入，用全连接层来完成从输入图像到标签集的映射，即分类。当然，整个过程最重要的工作就是如何通过训练数据迭代调整网络权重，也就是后向传播算法。目前主流的卷积神经网络(CNNs)，比如 VGG, ResNet 都是由简单的 CNN 调整，组合而来。
卷积过程就是 kernel 所有权重与其在输入图像上对应元素亮度之和，即

池化

池化(pooling），是一种降采样操作(subsampling)，主要目标是降低 feature maps 的特征空间，或者可以认为是降低 feature maps 的分辨率。因为 feature map 参数太多，而图像细节不利于高层特征的抽取。

Pooling 操作会降低参数，降低 feature maps 的分辨率，但是这种暴力降低在计算力足够的情况下是不是必须的，并不确定。目前一些大的 CNNs 网络只是偶尔使用 pooling。

全连接网络

不同于 CNN 的滑动卷积，全连接网络每一层的所有单元与上一层完全连接。对于第 l 层的第 i 个神经元，它的输出计算方式是,

目标函数和训练方法

假设得到的误差为 E，则在更新时有有

其中

是 learning rate，相当于每次学习的步长。然后通过 BP 来一层层往前调整参数进行学习。

BP 算法通过以下四个公式更新：

LeNet-5

是一种用来进行手写字母识别的网络，LeNet-5 中主要有 2 个卷积层、2 个下抽样层（池化层）、3 个全连接层，如图。

实验步骤与分析

实验中试了各种 optimizer 和 loss 函数，发现效果差距很大。

然后尝试了对自己用画图制作的数据集进行识别，效果也不错。

实验结果

学习率都是 0.01，只是换了 Loss 和 Optimizer，效果差异显著 x

Loss：直接返回 X，Optimizer：Adadelta

资源下载地址：https://download.csdn.net/download/sheziqiong/85884967
资源下载地址：https://download.csdn.net/download/sheziqiong/85884967