深度学习基础（十）—— 稀疏编码（二）

在实际编程时，为了写出准确无误的优化函数代码并能快速又恰到好处地收敛到最优值，可以采用下面的技巧：

（1）将输入样本集分成多个小的mini-batches，这样做的好处是每次迭代时输入系统的样本数变少了，运行的时间也会变短很多，并且也提高了整体收敛速度。
（2）S（Feature Matrix）的初始化值不能随机给。一般都是按照下面的方法进行：
```
featMatrix = weightMatrix'*miniBatch;
normWM = sum(weightMatrix.^2)';
featMatrix = featMatrix ./ repmat(normWM, [1, size(featMatrix, 2)]);
```
　　最后，在实际优化该代价函数时步骤大致如下：
（1）随机初始化A
（2）重复以下步骤直至收敛

随机选取一个有小的mini-batches。
按照前面讲的方法来 SS。
根据上一步给定的 AA，求解能够最小化 J(A,S)J(A,S) 的 SS
根据上一步得到的 SS，求解能够最小化 J(A,S)J(A,S) 的 AA

拓扑结构时的代价函数

J(A,S)=1m∥AS−X∥22+λV⋅S.2+ϵ−−−−−−−−√+γ∥A∥22

J(A,S)=\frac1m\|AS-X\|_2^2+\lambda \sqrt{V\cdot S.^2+\epsilon}+\gamma\|A\|_2^2

关于 AA 的梯度：

∂J(A,S)∂A=2m(AS−X)S′+2λA

\frac{\partial J(A,S)}{\partial A}=\frac2m(AS-X)S'+2\lambda A
此时可得 AA 的解析解形式：

A=XS′(SS′+λI)−1

A=XS'(SS'+\lambda I)^{-1}

关于 SS 的梯度为：

∂J(A,S)∂S=2mA′(AS−X)+λV′(VS.2+ϵ)−1/2.∗S

\frac{\partial J(A,S)}{\partial S}=\frac2mA'(AS-X)+\lambda V'(VS.^2+\epsilon)^{-1/2}.*S

深度学习基础（十）—— 稀疏编码（二）相关推荐

2021-07-14 深度学习基础与实践（二）
深度学习基础与实践(二) 一.分类及其性能度量 1.分类问题 2.分类性能度量 (1)准确率 (2)精确率和召回率 (3)P-R曲线 (4)F值 (5)ROC曲线 3.分类性能可视化 (1)混淆矩阵的 ...
深度学习之五：稀疏编码
9.2.Sparse Coding稀疏编码如果我们把输出必须和输入相等的限制放松,同时利用线性代数中基的概念,即O = a1*Φ1 + a2*Φ2+-.+ an*Φn, Φi是基,ai是系数, ...
Tensorflow深度学习之十二：基础图像处理之二
Tensorflow深度学习之十二:基础图像处理之二 from:https://blog.csdn.net/davincil/article/details/76598474 首先放出原始图像: ...
日月光华深度学习（一、二）深度学习基础和tf.keras
日月光华深度学习(一.二)深度学习基础和tf.keras [2.2]--tf.keras实现线性回归 [2.5]--多层感知器(神经网络)的代码实现 [2.6]--逻辑回归与交叉熵 [2.7]--逻辑 ...
（十四）从零开始学人工智能-深度学习基础及CNN
文章目录一.深度学习基础 1.1 深度学习及其发展历史 1.1.1 什么是学习? 1.1.2 什么是机器学习? 1.1.3 什么是深度学习? 1.1.4 深度学习发展历史 1.1.5 小结 1.2 ...
生成对抗网络-改进方法|深度学习（李宏毅）（二十四）
视频地址: ①B站:https://www.bilibili.com/video/BV15W411i7uP?p=2 ②油管:https://www.youtube.com/watch?v=KSN4QY ...
前几帧预测深度学习_使用深度学习从十二导联心电图预测心律失常
上集讲到使用深度学习从单导联预测房颤这一集将继续讨论该问题单导联心电图对心律失常的预测作用非常有限因为单导联的信号很有限临床上需要结合多导联心电图判断心律失常的类型这一集的 ...
花书+吴恩达深度学习（十二）卷积神经网络 CNN 之全连接层
目录 0. 前言 1. 全连接层(fully connected layer) 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十)卷积神经网络 CNN ...
二分类交叉熵损失函数python_【深度学习基础】第二课：softmax分类器和交叉熵损失函数...
[深度学习基础]系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记. 本文为原创文章,未经本人允许,禁止转载.转载请注明出处. 1.线性分类如果我们使用一个线性分类器去进行图像分类该怎 ...
第三章_深度学习基础
文章目录第三章深度学习基础 3.1 基本概念 3.1.1 神经网络组成? 3.1.2神经网络有哪些常用模型结构? 3.1.3如何选择深度学习开发平台? 3.1.4为什么使用深层表示? 3.1.5为 ...

深度学习基础（十）—— 稀疏编码（二）

拓扑结构时的代价函数

深度学习基础（十）—— 稀疏编码（二）相关推荐

最新文章

热门文章