吴恩达机器学习——反向传播算法

2024-04-12 05:23:35

吴恩达机器学习——反向传播算法

1.误差 $\delta^{(3)}$, $\delta^{(2)}$的推导
2.反向传播算法的计算过程

前言：反向传播算法是用来求偏导数的，即 σJ(θ)σθij(2)\frac{\sigma{J(\theta)}}{\sigma{\theta^{(2)}_{ij}}}σθij(2)σJ(θ)，有了这个偏导数，就可以使用梯度下降算法或其他高级算法得出 θ\thetaθ

1.误差 δ(3)\delta^{(3)}δ(3), δ(2)\delta^{(2)}δ(2)的推导

反向传播算法中误差的计算过程：

首先，这里没有使用线性回归中的平方差来计算，而是直接定义了δ(4)=a(4)−y,即预测值减去实际值\delta^{(4)}=a^{(4)}-y,\text{即预测值减去实际值}δ(4)=a(4)−y,即预测值减去实际值

接下来我们看一下δ(3)\delta^{(3)}δ(3)的推导过程：

1.代价函数（这里我们考虑最简单的情况，k=1，并且只考虑一个训练样本（x(i)x^{(i)}x(i), y(i)y^{(i)}y(i)））：
cost(i)=−y(i)∗log(h(x(i)))−(1−y(i))log(1−h(x(i)))cost(i)=-y^{(i)}*log(h(x^{(i)}))-(1-y^{(i)})log(1-h(x^{(i)}))cost(i)=−y(i)∗log(h(x(i)))−(1−y(i))log(1−h(x(i)))
2.误差计算公式：δj(l)=σcost(i)σzj(l)\delta^{(l)}_{j}=\frac{\sigma{cost(i)}}{\sigma{z^{(l)}_j}}δj(l)=σzj(l)σcost(i).
这里的误差计算公式为什么和δ(4)\delta^{(4)}δ(4)不一样呢？我们先看一下等式右边的偏导数等于多少。

【说明：上图中的y(i)y^{(i)}y(i)是实数而不是向量，因为我们这里暂时只考虑了k=1的情况。】
可以看到和δ(4)\delta^{(4)}δ(4)的定义是一样的。网上也看到其他说法：?是代价函数关于所计算出的中间项 z 的偏导数，它所衡量的是：为了影响这些中间值，我们所需要改变神经网络中的权重的程度。

3.δ(3)，δ(2)\delta^{(3)}，\delta^{(2)}δ(3)，δ(2)的推导

2.反向传播算法的计算过程

Δij(l)\Delta^{(l)}_{ij}Δij(l)的推导过程：

吴恩达机器学习——反向传播算法相关推荐

反向传播算法推导（交叉熵代价函数-吴恩达机器学习）
0. 前言第一次看吴恩达老师机器学习视频时, 在9.29.29.2节卡住.看到评论区别人解答(Arch725 的解答)发现有一些疏漏,而且缺少一些铺垫,所以进行了一些修改补充. 本文的反向传播算法的 ...
吴恩达机器学习作业Python实现(四)：神经网络(反向传播)
吴恩达机器学习系列作业目录 1 Neural Networks 神经网络在这个练习中,你将实现反向传播算法来学习神经网络的参数.依旧是上次预测手写数数字的例子. 1.1 Visualizing th ...
【吴恩达机器学习】第五周课程精简笔记——代价函数和反向传播
Cost Function and Backpropagation(代价函数和反向传播) 1. Cost Function Let's first define a few variables tha ...
吴恩达机器学习（七）神经网络（反向传播）
目录 0. 前言 1. 代价函数(Cost Function) 2. 反向传播(back propagation) 3. 前向传播和反向传播的结合 4. 梯度检测(gradient checking) ...
吴恩达机器学习笔记55-异常检测算法的特征选择（Choosing What Features to Use of Anomaly Detection）
吴恩达机器学习笔记55-异常检测算法的特征选择(Choosing What Features to Use of Anomaly Detection) 对于异常检测算法,使用特征是至关重要的,下面谈谈 ...
吴恩达机器学习6——机器学习算法改进、系统设计
吴恩达机器学习6 一.机器学习算法改进 1. 机器学习算法评价 1.1 评估模型 1.2 模型选择和交叉验证集 2. 偏差与方差 2.1 诊断偏差和方差 2.2 正则化和偏差/方差 2.3 学习曲线 ...
吴恩达机器学习（十四）推荐系统（基于梯度下降的协同过滤算法）
目录 0. 前言 1. 基于内容的推荐算法(Content-based recommendations) 2. 计算电影特征 3. 基于梯度下降的协同过滤算法(Collaborative filter ...
吴恩达机器学习（十一）K-means（无监督学习、聚类算法）
目录 0. 前言 1. K-means的算法流程 2. 代价函数(优化目标函数) 3. K 的选择学习完吴恩达老师机器学习课程的无监督学习,简单的做个笔记.文中部分描述属于个人消化后的理解,仅供参考 ...
吴恩达机器学习（六）神经网络（前向传播）
目录 0. 前言 1. 神经网络模型 2. 前向传播(forward propagation) 3. 神经网络中的多分类学习完吴恩达老师机器学习课程的神经网络,简单的做个笔记.文中部分描述属于个人消 ...

最新文章

热门文章