神经网络既有记忆能力又有泛化能力，这对应了我们现实世界的情况，既有多样性又有规律性，所以神经网络能够学习现实世界很多领域的问题。（多说一句，我认为现实世界的规律性是由宇宙的同源性（宇宙大爆炸，基本粒子不可再分）引起的，多样性是由随机性效应（量子力学、混沌效应等）引起的。）
下面通过shuffle label试验来感受LeNet的记忆能力。

1、shuffle label试验

shuffle label的方法在Bengio大神的文章《A Closer Look at Memorization in Deep Networks》https://arxiv.org/abs/1706.05394中提到。就是在训练时把标签完全打乱，样本和标签之间失去联系，然而此时仍然是可以训练的，网络完全是死记住了所有样本和标签之间的关联。当然这种记忆没有任何的泛化能力，在验证集上表现为完全随机预测。
我们在LeNet上进行shuffle label试验，注意torch中没有shuffle功能，所以我们需要在numpy中shuffle，试验在我之前的代码https://blog.csdn.net/Brikie/article/details/112253975上修改，仅对get_data部分修改如下。

def get_data():train_img, train_label = _read('train-images-idx3-ubyte.gz','train-labels-idx1-ubyte.gz')train_img = train_img[:10000]train_label = train_label[:10000]np.random.shuffle(train_label)...

LeNet在Mnist数据集上shuffle label的训练结果如上图，acc表示在训练集上的精度。可见，模型有很强的记忆能力，即使是标签完全打乱，模型也能学到东西。如果训练样本较多，模型记忆的过程会较慢，如果样本数量较少，比如只有5000个时，不到100epoch就能够全部都记住，精度几乎达到100%。

2、去掉卷积层之后的对比

去掉LeNet的两个卷积层之后，把全连接层的输入尺寸改为28*28，参数量还变大了，从61706变为105214。但从下图可以看出，没有卷积层时记忆能力显著下降。这说明即使是“死记”，卷积层也仍可以对特征进行提取，相当于图片压缩了，仍可以减少需要记忆的信息量。

LeNet试验（四）使用shuffle label观察网络的记忆能力相关推荐

《计算机网络》实验报告——使用SNORT观察网络数据包和TCP连接
实验名称:使用SNORT观察网络数据包和TCP连接实验地点: 所使用的工具软件及环境: Windows ,snort.winpcap 一.实验目的: 通过本实验,熟悉SNORT的使用,通过抓包分析, ...
＜计算机视觉四＞ pytorch版yolov3网络搭建
鼠标点击下载项目源代码免费下载地址 <计算机视觉一> 使用标定工具标定自己的目标检测 <计算机视觉二> labelme标定的数据转换成yolo训练格式 <计算机 ...
wifi 信道_WiFi网速太慢，四招就可以让无线网络变得顺畅
和WIFI网速相关联的因素主要有四个,对应解决方法也就有四个. 频段冲突是WIFI网速变慢很常见的问题.现实中常用的WIFI频段有2.4GHZ和5GHZ两个大频段,也好比两条高速公路.中国2.4GHZ ...
matlab抗混叠滤波器,试验四音频抗混叠滤波器设计.doc
试验四音频抗混叠滤波器设计实验四音频抗混叠滤波器设计 [实验目的] 学习用Matlab进行滤波器设计仿真. [实验内容] 题目要求:1)设计Butterworth型音频抗混叠滤波器: 2)参数: ...
四、SSL 虚拟私有网络
4 SSL VPN 4.1 概念 4.1.1 SSL SSL(Secure Socket Layer,安全套接层)是在传输通信协议(TCP/IP)上实现的一种安全协议,采用公开密钥技术.SSL基于TC ...
密码学系列（四）：整理世界性网络安全相关组织、企业的网站【持更】
密码学系列(四):整理世界性网络安全相关组织.企业的网站[持更] 前言各网站 Thales 泰勒斯 BI.ZONE RSA Unbound Security Fasso 富信 Intertrust ...
机顶盒服务器显示7年了,机顶盒还卡吗？四招让你的网络机顶盒看电视不再卡...
原标题:机顶盒还卡吗?四招让你的网络机顶盒看电视不再卡 1.直播服务器压力大据笔者的调查,大多数情况下网络机顶盒看电视直播总是卡是由直播服务器压力大引起的,尤其是在晚上的黄金时间段或者周末,很多朋友 ...
《Gartner 2022年网络防火墙关键能力报告》发布，Fortinet获得三大用例最高得分
当前,网络攻击态势迅猛发展,正演变成全球化威胁,对全球组织和数字经济影响深远.第三方数据显示,2021年上半年,全球组织应对勒索软件不法攻击已耗费近6亿美元,该数字即将超过全美组织十年来的赎金支付总额 ...
智库专家称人工智能可提升网络空间适应能力
[概要]哈佛大学贝尔弗科学与国际事务中心网络安全项目主任Michael Sulmeyer等发表文章称,人工智能可提升网络空间适应能力. Michael Sulmeyer等在文章中表示,最近该中心的一位 ...

LeNet试验（四）使用shuffle label观察网络的记忆能力

1、shuffle label试验

2、去掉卷积层之后的对比

LeNet试验（四）使用shuffle label观察网络的记忆能力相关推荐

最新文章

热门文章