吴恩达神经网络与深度学习——浅层神经网络

神经网络概述
神经网络表示
计算神经网络的输出
m个样本的向量化
- for loop
- 向量化
向量化实现的解释
激活函数
- sigmoid
- tanh函数
- ReLu函数
Leaky ReLu函数
为什么需要非线性激活函数
激活函数的导数
- sigmoid
- tanh函数
- ReLu函数
- Leaky ReLu函数
神经网络的梯度下降
- 浅层神经网络
- - 参数
  - 代价函数
  - 梯度下降
- 正向传播
- 反向传播
直观理解反向传播
- Logistic回归
- 浅层神经网络
- m个样本的梯度下降
随机初始化权重

神经网络概述

神经网络表示

计算神经网络的输出

m个样本的向量化

for loop

向量化

X：（nx,m）竖向指标代表神经网络的不同节点，横向指标代表不同的训练样本

向量化实现的解释

激活函数

sigmoid

除非用在二元分类的输出层，不然绝对不用，因为thah函数在任何场合都适用

tanh函数

sigmoid类函数的缺点是z特别大或特别小时斜率为0，会拖慢梯度下降的速度，使学习速率下降。

ReLu函数

默认使用
在实践中使用ReLu函数，神经网络的学习速率块，因为ReLu类函数没有sigmoid类函数在斜率接近于0时拖慢学习速率的特征。
ReLu由于NN有足够多的隐藏单元，使z>0.

Leaky ReLu函数

神经网络的一个特点是：在建立神经网络时，经常会有许多不同的选择比如隐藏单元数，激活函数，初始化权重等。

为什么需要非线性激活函数

事实证明：要让NN能够计算出有趣的函数，必须使用非线性激活函数

两个线性函数的组合本身就是线性函数，不能计算出有趣的函数；唯一可以用线性激活函数的地方是输出层，例如预测房价；除了这种情况，会在隐藏层用线性激活函数的，可能除了与压缩有关的一些特殊情况。

激活函数的导数

sigmoid

$g (z)= a = /frac{1}{1+exp(-z)}$

$g{'} (z)= a = /frac{e^{-z}}{(1+exp(-z))^2}=a*(1-a)$

tanh函数

$g (z)= tanh(z) = /frac{e^z-e^{-z}}{e^z+e^{-z}}$

$g{'} (z)= 1-(tanh(z))^2$

ReLu函数

$g (z) = max(0,z)$

$g{'} (z)= 1$ if z>0
$g{'} (z)= 0$ if z<0

Leaky ReLu函数

$g (z) = max(0.01z,z)$

$g{'} (z)= 1$ if z>0
$g{'} (z)= 0.01$ if z<0

神经网络的梯度下降

浅层神经网络

参数

w^[1](n^[1]*n^[0]),
b^[1](n^[1]*1),
w^[2](n^[2]*n^[1]),
b^[2]( n^[2] *1)
n_x=n^[0],n^[1],n^[2]=1

代价函数

$J (w^{[1]},b^{[1]},w^{[2]},b^{[2]}) = /frac{1}{m}sum_{i=0}^n(y_{hat}-y)^2$

梯度下降

repeat{compute predict(yhat^[i],i=1,2,...,m)dw^[1] = dJ/dw^[1]     db^[1] = dJ/db^[1] ......w^[1] = w^[1]-alpha*dw^[1]b^[1] = w^[1]-alpha*db^[1]......
}

正向传播

反向传播

dZ^[2] = A^[2]-Y
dW^[2] = (1/m)dZ^[2](A^[1])^T
db^[2] = (1/m)np.sum(dZ^[2],axis=1(竖直相加)，keepdims = True(防止Python直接输出轶为1的数组))
aZ^[1] = (W^[1])^TdZ^[2]*(g^[1])'(Z^[1])##*逐元素相乘
dW^[1] = (1/m)dZ^[1](X)^T
db^[2] = (1/m)np.sum(dZ^[1],axis=1(竖直相加)，keepdims = True(防止Python直接输出轶为1的数组))

直观理解反向传播

Logistic回归

$L (a,y) = -yloga-(1-y)log(1-a)$

$a= /frac{1}{1+e^{-z}}$ $da= /frac{dL(a,y)}{da} =- /frac{y}{a}+/frac{1-y}{1-a}$ $dz= /frac{dL(a,y)}{dz} = /frac{dL(a,y)}{da} /frac{da}{dz} =a(1-a)(- /frac{y}{a}+/frac{1-y}{1-a})=a-y$ $dw=xdz$ $db=dz$

浅层神经网络

$dz^{[2]}= /frac{dL(a,y)}{dz^{[2]}} = /frac{dL(a,y)}{da^{[2]}} /frac{da^{[2]}}{dz^{[2]}} =a^{[2]}(1-a^{[2]})(- /frac{y}{a^{[2]}}+/frac{1-y}{1-a^{[2]}})=a^{[2]}-y$ $dW^{[2]}=dz^{[2]}a^{[1]T}$ $db^{[2]}=dz^{[2]}$ $dz^{[1]}= /frac{dL}{dz^{[1]}} = /frac{dL}{da^{[2]}} /frac{da^{[2]}}{dz^{[2]}} /frac{dz^{2]}}{da^{[1]}} /frac{da^{1]}}{dz^{[1]}} =g^{[1]'}(z^{[1]})*(W^{[2]T}dz^{[2]})$ $dW^{[1]}=dz^{[1]}X^T}$ $db^{[1]}=dz^{[1]}$

矩阵运算维度一定要匹配

m个样本的梯度下降

随机初始化权重

NN中，若权重初始化为0，则无效

w1 = np.random.randn((2,2))*0.01
b1 = np.zeros((2,1))
w2 = np.random.randn((1,2))*0.01
b2 = np.zeros(1,1))

吴恩达神经网络与深度学习——浅层神经网络相关推荐

下载量过百万的吴恩达机器学习和深度学习笔记更新了！（附PDF下载）
今天,我把吴恩达机器学习和深度学习课程笔记都更新了,并提供下载,这两本笔记非常适合机器学习和深度学习入门.(作者:黄海广) 0.导语我和同学将吴恩达老师机器学习和深度学习课程笔记做成了打印版,放在g ...
吴恩达deeplearning.ai深度学习课程空白作业
吴恩达deeplearning.ai深度学习课程的空白作业,包括深度学习微专业五门课程的全部空白编程作业,经多方整理而来.网上找来的作业好多都是已经被别人写过的,不便于自己练习,而且很多都缺失各种 ...
手机上的机器学习资源！Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现！...
吴恩达机器学习.深度学习,李航老师<统计学习方法>.CS229数学基础等,可以说是机器学习入门的宝典.本文推荐一个网站"机器学习初学者",把以上资源的笔记.代码实现做成 ...
吴恩达《机器学习》学习笔记十一——神经网络代码
吴恩达<机器学习>学习笔记十一--神经网络代码数据准备神经网络结构与代价函数· 初始化设置反向传播算法训练网络与验证课程链接:https://www.bilibili.com/v ...
吴恩达《机器学习》学习笔记十——神经网络相关（2）
吴恩达<机器学习>学习笔记十--神经网络相关(2) 一. 代价函数二. 反向传播算法三. 理解反向传播算法四. 梯度检测五. 随机初始化 1.全部初始化为0的问题 2.随机初始化的 ...
吴恩达《机器学习》学习笔记九——神经网络相关（1）
吴恩达<机器学习>学习笔记九--神经网络相关(1) 一. 非线性假设的问题二. 神经网络相关知识 1.神经网络的大致历史 2.神经网络的表示 3.前向传播:向量化表示三. 例子与直觉理 ...
新建网站了！Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现，可以在线阅读了！...
吴恩达机器学习.深度学习,李航老师<统计学习方法>,可以说是机器学习入门的宝典.本文推荐一个网站"机器学习初学者",把以上资源的笔记.代码实现做成了网页版,可以在线阅读 ...
吴恩达深度学习笔记_Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现，可以在线阅读了！...
吴恩达机器学习.深度学习,李航老师<统计学习方法>,可以说是机器学习入门的宝典.本文推荐一个网站"机器学习初学者",把以上资源的笔记.代码实现做成了网页版,可以在线阅读 ...
吴恩达机器学习与深度学习作业目录 [图片已修复]
python3.6 (一) 吴恩达机器学习作业目录 1 吴恩达机器学习作业Python实现(一):线性回归 2 吴恩达机器学习作业Python实现(二):logistic回归 3 吴恩达机器学习作业P ...

吴恩达神经网络与深度学习——浅层神经网络

吴恩达神经网络与深度学习——浅层神经网络

神经网络概述

神经网络表示

计算神经网络的输出

m个样本的向量化

for loop

向量化

向量化实现的解释

激活函数

sigmoid

tanh函数

ReLu函数

Leaky ReLu函数

为什么需要非线性激活函数

激活函数的导数

sigmoid

tanh函数

ReLu函数

Leaky ReLu函数

神经网络的梯度下降

浅层神经网络

参数

代价函数

梯度下降

正向传播

反向传播

直观理解反向传播

Logistic回归

浅层神经网络

m个样本的梯度下降

随机初始化权重

吴恩达神经网络与深度学习——浅层神经网络相关推荐

最新文章

热门文章