神经网络(11)--具体实现:unrolling parameters

我们需要将parameters从矩阵unrolling到向量，这样我们就可以使用adanced optimization routines.

unroll into vectors

costFunction与fminunc里面的theta都是n+1维的向量，costFunction的返回值gradient也是n+1维的向量。

但是当我们使用神经网络时，我们的Θ和gradient都是一个矩阵，而不是一个向量.在这儿我们的目标是将这些矩阵展开为向量，这样就可以使用上面的这两个函数了。

如何unroll成向量的例子

如上图所示，我们可以将矩阵转换为向量（thetaVec and DVec are big long vector），也可以将向量利用reshape变为矩阵。

具体的unrolling如何工作的

在costFunction中，我们会从thetaVec中得到Θ⁽¹⁾,Θ⁽²⁾,Θ⁽³⁾,，这样方便我们计算后面所需要的D⁽¹⁾,D⁽²⁾,D⁽³⁾,和J(Θ);

然后再将这些D⁽¹⁾,D⁽²⁾,D⁽³⁾unroll to 得到gradientVec进行返回。

总结(什么时候使用矩阵，什么时候使用向量)

使用矩阵的情况: 当做forward propagation 和 back propagation时，我们需要使用矩阵来计算,这里就需要用reshape来构建矩阵。

使用向量的情况: 当使用fminunc这些advanced算法的时候，这些函数的参数是向量，这时我们需要将矩阵转化为向量来计算。

转载于:https://www.cnblogs.com/yan2015/p/5023847.html

神经网络(11)--具体实现:unrolling parameters相关推荐

神经网络学习小记录72——Parameters参数量、FLOPs浮点运算次数、FPS每秒传输帧数等计算量衡量指标解析
神经网络学习小记录72--Parameters参数量.FLOPs浮点运算次数.FPS每秒传输帧数等计算量衡量指标解析学习前言网络的运算时组成我们要关注网络的什么指标 1.Parameters参数 ...
深度学习-Tensorflow2.2-RNN循环神经网络{11}-RNN空气污染预测-26
import tensorflow as tf import matplotlib.pyplot as plt %matplotlib inline import numpy as np import ...
深度学习-Tensorflow2.2-RNN循环神经网络{11}-评论分类-25
什么是RNN? 代码 import tensorflow as tf import matplotlib.pyplot as plt %matplotlib inline import numpy a ...
这就是神经网络 11：深度学习-语义分割-DFN、BiSeNet、ExFuse
前言本篇介绍三篇旷视在2018年的CVPR及ECCV上的文章.旷视做宣传做的很好,出的论文解读文章很赞,省去了我从头开始理解的痛苦,结合论文基本能很快了解全貌. 语义分割任务同时需要 Spatial ...
Machine Learning - Andrew Ng on Coursera (Week 5)
本篇文章将分享Coursera上Andrew Ng的Machine Learning第五周的课程,主要内容有如下,详细内容可以参考文末附件: 代价函数及后向算法 Cost function(代价函数) ...
week5_神经网络
文章目录神经网络:学习(Netural NetWorks:Learning) 1.代价函数(Cost Function) 2.反向传播算法(Backpropagation Algorithm) 3. ...
Coursera吴恩达《神经网络与深度学习》课程笔记（5）-- 深层神经网络
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了浅层神经网络.首先介绍神经网络的基本结构,包括输入层,隐藏层和输出层.然后以简单的2 layer NN为例,详细推导了其正向传 ...
Stanford机器学习---第五讲. 神经网络的学习 Neural Networks learning
原文见http://blog.csdn.net/abcjennifer/article/details/7758797,加入了一些自己的理解本栏目(Machine learning)包含单參数的线性 ...
BP神经网络算法：将参数矩阵向量化
上一篇<机器学习:神经网络的代价函数及反向传播算法>记录了如何使用反向传播算法计算代价函数的导数,其中一个细节就是需要把参数的矩阵表达式展开成向量的形式,以便在后来使用高级的优化算法.Ng ...

神经网络(11)--具体实现:unrolling parameters

神经网络(11)--具体实现:unrolling parameters相关推荐

最新文章

热门文章