权重初始化

在神经网络的学习中，权重初始值非常重要。很多时候权重初始值的设定关系到神经网络的学习能否成功。

随机初始化

小网络可以，更深的网络会出问题

初始化值比较小

如果初始化数值比较小，比如W = 0.01* np.random.randn(D,H) ，会发生梯度消失。这里说的主要针对sigmoid或tanh函数，输⼊接近于零，反向传播过程中权重的local gradient（其中x这一项等于0）等于0，最后算出来的梯度成为0

并且，激活值集中在 0.5 附近的分布，激活值的分布有所偏向，说明在表现力上会有很大问题。因为如果有多个神经元都输出几乎相同的值，那它们就没有存在的意义了。比如，如果 100 个神经元都输出几乎相同的值，那么也可以由 1 个神经元来表达基本相同的事情。因此，激活值在分布上有所偏向会出现“表现力受限”的问题。

各层的激活值的分布应当有适当的广度，因为通过在各层间传递多样性的数据，神经网络可以进行高效的学习。反过来，如果传递的是有所偏向的数据，就会出现梯度消失或者“表现力受限”的问题，导致学习可能无法顺利进行。

初始化数值比较大

如果初始化数值比较大，比如W = 0.05* np.random.randn(D,H) ，也会发生梯度消失：所有的激活值饱和，local gradient（tanh导数项等于0）等于0，最后算出来的梯度成为0

Xavier Initialization

Xavier 的论文中，为了使各层的激活值呈现出具有相同广度的分布，推导了合适的权重尺度。随机初始化的neuron的output的方差随着input的个数增加而增加，于是要用input个数对权重矩阵进行缩放，使得输入输出的方差不变：如果前一层的节点数为 n，则初始值使用标准差为 1/sqrt(n) 的分布

推导过程

对于一个没有⾮线性的全连接层输出，权重wij都是从同⼀分布中独⽴抽取的。此外，假设该分布具有零均值和⽅差σ2。请注意，这并不意味着分布必须是⾼斯的，只是均值和⽅差需要存在。现在，让我们假设层xj的输⼊也具有零均值和⽅差γ2，并且它们独⽴于wij并且彼此独⽴。在这种情况下，我们可以按如下⽅式计算oi的平均值和⽅差：

保持方差不变的一种方法是设置

2022年Cs231n PPT笔记-训练CNN相关推荐

CS231n官方笔记授权翻译总集篇发布
CS231n简介 CS231n的全称是CS231n: Convolutional Neural Networks for Visual Recognition,即面向视觉识别的卷积神经网络.该课程是斯 ...
CS231n课程笔记翻译9：卷积神经网络笔记
译者注:本文翻译自斯坦福CS231n课程笔记ConvNet notes,由课程教师Andrej Karpathy授权进行翻译.本篇教程由杜客和猴子翻译完成,堃堃和李艺颖进行校对修改. 原文如下内容列 ...
CS231n课程笔记翻译8：神经网络笔记 part3
译者注:本文智能单元首发,译自斯坦福CS231n课程笔记 Neural Nets notes 3 ,课程教师 Andrej Karpathy 授权翻译.本篇教程由杜客翻译完成, 堃堃和巩子 ...
CS231n课程笔记翻译：神经网络笔记3（下）
CS231n课程笔记翻译:神经网络笔记3(下) 笔记译自斯坦福CS231n课程笔记Neural Nets notes 3,课程教师Andrej Karpathy授权翻译. 转自知乎,原文地址: htt ...
深度学习与计算机视觉教程：斯坦福CS231n · 全套笔记解读
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/37 本文地址:https://www.showmeai.tech/article-d ...
CS231n课程笔记翻译：图像分类笔记（下）
译者注:本文翻译自斯坦福CS231n课程笔记image classification notes,课程教师Andrej Karpathy授权翻译.本篇教程由杜客进行翻译,ShiqingFan和巩子嘉进 ...
CS231n课程笔记翻译：图像分类笔记（上）
译者注:本文翻译自斯坦福CS231n课程笔记image classification notes,由课程教师Andrej Karpathy授权进行翻译.本篇教程由杜客翻译完成.ShiqingFan对译 ...
使用docker安装部署Spark集群来训练CNN（含Python实例）
使用docker安装部署Spark集群来训练CNN(含Python实例) 本博客仅为作者记录笔记之用,不免有很多细节不对之处. 还望各位看官能够见谅,欢迎批评指正. 博客虽水,然亦博主之苦劳也. 如需 ...
【cs231n作业笔记】一：KNN分类器
安装anaconda,下载assignment作业代码作业代码数据集等2018版基于python3.6 下载提取码4put 本课程内容参考: cs231n官方笔记地址贺完结!CS231n官方笔记授 ...
CS231n课程笔记翻译系列之目录汇总
知乎上CS231n课程翻译系列翻译的笔记非常好,为了方便查看,这里把所有目录列于此,并给出链接. Python Numpy教程(全篇) Python 基本数据类型容器(列表, 字典, 集合, 元组 ...

2022年Cs231n PPT笔记-训练CNN