学习笔记，神经网络和反向传播

简单的二分类情形：

1、前向传播

有m个样本，每个样本有n个特征， $(x_1, x_2, ... , x_n)$ , 每个特征的权重是 $w_i$ ，权重向量为 $(w_1, w_2, ... , w_n)$ ，偏置为b，

$Z = W^{T}X + b$

激活函数为sigmoid函数， $\sigma(z) = \frac{1}{1+e^{-z}}$

则激活后的值为 $a = \sigma(z)$ , 大写表示向量，小写表示标量

2、反向传播

y为真实值，损失函数为 $L(a, y) = -yloga - (1-y)log(1-a)$

代价函数为

$J(a, y) = J(w, b) = \frac{1}{m} \sum_{i=1}^{m} L(a, y)$ , 代价函数为a, y的函数，实际上可以看作是w,b的函数

梯度下降法，对w，b进行求偏导

$\frac{\partial L(a,y)}{\partial w} = \frac{\partial L(a, y)}{\partial a} \cdot \frac{\partial a}{\partial z} \cdot \frac{\partial z}{\partial w}$

$\frac{\partial L(a,y)}{\partial b} = \frac{\partial L(a, y)}{\partial a} \cdot \frac{\partial a}{\partial z} \cdot \frac{\partial z}{\partial b}$

反向传播的简单理解：通过上面的分解，J对w的偏导，分解为J对a的偏导，a对z的偏导，z对w的偏导，一个反向链条，从J传播到w，通过误差J来修正参数w。

下面分别来求以上几个公式

$\frac{\partial L(a,y)}{\partial a} = -y\frac{1}{a} - (1 - y)\frac{-1}{1 - a}=-\frac{y}{a} + \frac{1 - y}{1 - a}$

$\frac{\partial a}{\partial z} = \frac{e^{-z}}{(1 + e^{-z})^{2}} = \frac{1}{1 + e^{-z}} \cdot \frac{e^{-z}}{1 + e^{-z}} = a \cdot \frac{e^{-z}}{1 + e^{-z}} =a \cdot \frac{1 + e^{-z} - 1}{1 + e^{-z}}$

$= a (1 - a)$

$\frac{\partial L(a,y)}{\partial a} \cdot \frac{\partial a}{\partial z}= (-\frac{y}{a} + \frac{1 - y}{1 - a})\cdot a \cdot (1 - a)$

= -y(1 - a) + a(1 - y)

= -y + ay + a - ay = a - y

$\frac{\partial L(a,y)}{\partial w} = (a - y) x$

$\frac{\partial L(a,y)}{\partial b} = a - y$

用矩阵的形式写作：

$\frac{\partial L(A,Y)}{\partial W} = X \cdot (A - Y)^{T}$ , X的形状是(n, m)， A - Y的形状是(1, m)，所以转置后为(m, 1)。最后结果的形状为（n, 1）

$\frac{\partial L(A,Y)}{\partial b} = A - Y$ , 由于所有的b相同，只需要一个标量。使用np.sum(A - Y)

最后得到w，b的反推公式：（其中 $\alpha$ 为学习率，即步长）

$W = W - \alpha \cdot \frac{1}{m} \cdot \frac{\partial L(A - Y)}{\partial W} = W - \alpha \cdot \frac{1}{m} \cdot X \cdot (A - Y)^{T}$

$b = b - \alpha \cdot \frac{1}{m} \cdot np.sum(A - Y)$

学习笔记，神经网络和反向传播相关推荐

零基础入门深度学习(3) - 神经网络和反向传播算法
无论即将到来的是大数据时代还是人工智能时代,亦或是传统行业使用人工智能在云上处理大数据的时代,作为一个有理想有追求的程序员,不懂深度学习(Deep Learning)这个超热的技术,会不会感觉马上就o ...
深度学习笔记三：反向传播（backpropagation）算法
接上一篇的最后,我们要训练多层网络的时候,最后关键的部分就是求梯度啦.纯数学方法几乎是不可能的,那么反向传播算法就是用来求梯度的,用了一个很巧妙的方法. 反向传播算法应该是神经网络最基本最需要弄懂的方 ...
深度学习(4) - 神经网络和反向传播算法
神经元神经元和感知器本质上是一样的,只不过我们说感知器的时候,它的激活函数是阶跃函数:而当我们说神经元时,激活函数往往选择为sigmoid函数或tanh函数.如下图所示: 计算一个神经元的输出的方法 ...
【吴恩达机器学习】第五周课程精简笔记——代价函数和反向传播
Cost Function and Backpropagation(代价函数和反向传播) 1. Cost Function Let's first define a few variables tha ...
July深度学习笔记之神经网络与反向传播算法
July深度学习笔记之神经网络与反向传播算法一.神经网络神经网络的大致结构如下: 大致可以分为输入层.隐藏层与输出层. 而我们可以单独拿出来一个结点,可以发现,其实它就是类似一个逻辑回归(LR), ...
深度学习与自然语言处理教程(3) - 神经网络与反向传播（NLP通关指南·完结）
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/36 本文地址:https://www.showmeai.tech/article-d ...
深度学习与计算机视觉教程(4) | 神经网络与反向传播（CV通关指南·完结）
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/37 本文地址:https://www.showmeai.tech/article-d ...
机器学习笔记丨神经网络的反向传播原理及过程（图文并茂+浅显易懂）
文章目录一.前言二.神经网络的前向传播原理 1. 单个神经元的计算 2. 神经元在神经网络中的计算三.反向传播算法内容(请静下心,一步一步的看) Step1 计算误差 Step2 更新权重四. ...
独家思维导图！让你秒懂李宏毅2020深度学习（三）——深度学习基础（神经网络和反向传播部分）
独家思维导图!让你秒懂李宏毅2020深度学习(三)--深度学习基础(神经网络和反向传播部分) 长文预警!!!前面两篇文章主要介绍了李宏毅视频中的机器学习部分,从这篇文章开始,我将介绍李宏毅视频中的深度 ...
Goodfellow深度学习笔记--神经网络架构
目录损失函数指标选择交叉熵交叉熵代码使用最大似然的优势损失函数的具体形式用于高斯输出分布的线性单元用于Bernoulli输出分布的sigmoid单元用于Multinoulli输出分布 ...

学习笔记，神经网络和反向传播

学习笔记，神经网络和反向传播相关推荐

最新文章

热门文章