随机初始化（代码实现）

将所有θ权重初始化为零并不适用于神经网络。当我们反向传播，所有节点将更新为相同的值反复。我们可以为我们的Θ矩阵随机初始化使用以下方法我们的砝码：

因此，我们初始化每个在[−ϵ，ϵ]。使用上述公式保证我们得到期望的约束。同样的程序适用于所有的Θ的。下面是一些工作的代码，你可以使用实验。

If the dimensions of Theta1 is 10x11, Theta2 is 10x11 and Theta3 is 1x11.

Theta1 = rand(10,11) * (2 * INIT_EPSILON) - INIT_EPSILON;
Theta2 = rand(10,11) * (2 * INIT_EPSILON) - INIT_EPSILON;
Theta3 = rand(1,11) * (2 * INIT_EPSILON) - INIT_EPSILON;

rand（x，y）只是matlab的函数，它将在0到1之间初始化一个随机实数矩阵。
（注：以上所用的ε与梯度检验中的ε无关）

转载于:https://www.cnblogs.com/zhengzhe/p/7326297.html

随机初始化（代码实现）相关推荐

Matlab基于动态粒子群算法的动态环境寻优算法基本粒子群算法首先是在解空间中随机初始化所有粒子
Matlab基于动态粒子群算法的动态环境寻优算法基本粒子群算法首先是在解空间中随机初始化所有粒子,每个粒子位置即代表问题的一个潜在解,在搜索过程中,采用适应度函数对每个粒子位置进行评价,适应度值好的 ...
chatGPT 生成随机漫步代码
目录 1. chatGPT 写的随机漫步代码 2. 笔者写的随机漫步代码 3. 总结 1. chatGPT 写的随机漫步代码最近在学习 Python 中的随机漫步知识点,突发奇想,心血来 ...
【码上实战】【立体匹配系列】经典PatchMatch: （3）随机初始化
下载完整源码,点击进入: https://github.com/ethan-li-coding/PatchMatchStereo 欢迎同学们在Github项目里讨论,如果觉得博主代码质量不错,右上角s ...
ScratchDet：随机初始化训练SSD目标检测器（论文笔记）
论文名称:ScratchDet: Training Single-Shot Object Detectors from Scratch(京东AI研究院) 地址:https://arxiv.org/ab ...
【Kotlin】Kotlin 构造函数 ( 主构造函数 | 主构造函数声明属性 | init 初始化代码块 | 次构造函数 | 构造函数委托 | 调用构造函数创建实例对象 )
文章目录 I . 主构造函数 II . 主构造函数声明属性 III . init 初始化代码块 IV . 主构造函数参数和成员变量访问方式 V . 主构造函数可见性设置 VI . 次构造函数 ...
3.11 随机初始化-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.10 直观理解反向传播回到目录 3.12 总结习题随机初始化 (Radom Initialization) 当你训练神经网络时,权重随机初始化是很重要的.对于逻辑回归 ...
flink sql的datastream与dataset初始化代码汇总
flink sql 数据类型初始化代码汇总 dataset ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironme ...
Spring Environment仅用于初始化代码
从3.1版开始, Spring框架提供了对几种不同来源的抽象,通过它们您可以轻松地配置应用程序: Environment . 在这篇文章中,我描述了一个微基准测试,我可以证明该基准测试是一个方便的AP ...
php 数组随机排序_php 数组元素随机排序代码
php教程数组元素随机排序代码因为工作需要我要对我定义好的数组进行随机排序,每一次循环都要是不同的,下面我们利用了php shuffle函数随机对数组元素进行排序.方法非常简单. shuffle( ...

随机初始化（代码实现）

随机初始化（代码实现）相关推荐

最新文章

热门文章