W,b的初始化和几种激活函数

权重W不能全部初始化为0，原因很简单，我们可以自己在本子上推导一下，假设现有一个含有一个隐藏层，隐藏层含有两个神经元初始输入为两个向量的网络，如果权重初始化全部为0，那么，第一层的输出，会和第二层的输出相等，这样我们反向传播更新权重的时候也会发现，两个W始终相等，所以这种初始化的方法行不通，另外再说b，这里得说一下的就是b是可以被初始化为0的，对训练效果并没有多少影响。那么，w,b到底怎样将他们初始化呢，其实可以用随机数的方法将他们初始化。用python来写就是像这样：

W_1 = np.random.randn((2,2))*0.01
b_1 = np.zero((2,1))
W_2 = np.random.randn((1,2))*0.01
b_2 = 0

第一行代码后面乘一个0.01的作用是在为了防止Z过大，而导致梯度下降得太慢，训练速度太慢。

这里牵扯到几种激活函数了

常见的激活函数有四种，我之前还只知道sigmoid。。

1，sigmoid

2，tanh

3,ReLU(线性整流函数)

4,Leaky RU

在知道这个之前，我一直以为sigmoid是最好用的，之后在看了资料之后才知道tanh其实效果比sigmoid好一点，因为依据他的图像，我们不难发现。他的取值范围在[-1,1],隐藏层的输出限定这之间，可以看成是在0值附近分布，均值为0，有归一的效果，所以作为隐藏层的激活函数的话，tanh比sigmoid好，输出的话，一般还是选sigmoid

但是，这两个函数，任何事都有两面，他们也有不好的时候，那就是在Z过大的时候，这两个函数的函数曲线变得很平稳，导致他们梯度下降的很慢，所以这里又来了后面那两个函数，一个是ReLU,他在Z大于0的时候，斜率都为1，这样就加快了梯度下降的速度，不过，他的缺点也很明显，他在z小于0时候，斜率恒为0，这是LeakyRU就出来了，他的另外一部分斜率不为0。

总结，一般分类问题中，我们用sigmoid，不过隐藏层一般用tanh，实际中，一般用后面两个，各有优势，具体用哪个，具体问题具体分析

转载于:https://www.cnblogs.com/Yintianhao/p/9157406.html

W,b的初始化和几种激活函数相关推荐

DL之DNN优化技术：采用三种激活函数(sigmoid、relu、tanh)构建5层神经网络，权重初始值(He参数初始化和Xavier参数初始化)影响隐藏层的激活值分布的直方图可视化
DL之DNN优化技术:采用三种激活函数(sigmoid.relu.tanh)构建5层神经网络,权重初始值(He参数初始化和Xavier参数初始化)影响隐藏层的激活值分布的直方图可视化目录
深度学习中常见的10种激活函数（Activation Function）总结
目录一:简介二:为什么要用激活函数三:激活函数的分类四:常见的几种激活函数 4.1.Sigmoid函数 4.2.Tanh函数 4.3.ReLU函数 4.4.Leaky Relu函数 4.5.P ...
三种激活函数——Sigmoid,Tanh, ReLU以及卷积感受野的计算
1. 三种激活函数--Sigmoid, Tanh, ReLU 1.1 Sigmoid 1.1.1 公式 S ( x ) = 1 1 + e − x S(x) = \frac{1}{1 + e^{-x} ...
C语言中字符数组初始化的几种方法
欢迎关注我的微信公众号:CurryCoder的程序人生 1.C语言中的字符数组初始化在C语言中,字符串是当做字符数组来处理的:所以字符串有两种声明方式,一种是字符数组,一种是字符指针. 1.1 直接 ...
使用神经网络做二分类，输出层需要几个神经元？应该选择哪一种激活函数？如果要处理minst数据、输出层需要几个神经元？使用那种激活函数？如果使用神经网络预测房价，输出层需要几个神经元、使用什么激活函数？
使用神经网络做二分类,输出层需要几个神经元?应该选择哪一种激活函数?如果要处理minst数据.输出层需要几个神经元?使用那种激活函数?如果使用神经网络预测房价,输出层需要几个神经元.使用什么激活函数? ...
C++类中成员变量的初始化有两种方式
C++类中成员变量的初始化有两种方式: 构造函数初始化列表和构造函数体内赋值.下面看看两种方式有何不同. 成员变量初始化的顺序是按照在那种定义的顺序. 1.内部数据类型(char,int--指针等) ...
C语言的二维数组初始化的几种方式介绍（私藏大数组初始化方式）
C语言的二维数组初始化的几种方式介绍 1.直接赋值 2.循环对每个元素赋值 3.借用memset/memset_s初始化为0或-1 4.`数组所有元素初始化为相同值(用于大数组初始化贼方便)` 1.直 ...
C++对类中字符串成员进行初始化的两种方法以及友元函数的使用
在C++之中,如果要建立一个类,且类中需要有字符串数据成员,我们可以把该成员声明成两种类型. 第一种方法:使用头文件string,把字符串数据成员声明为string类的对象,用这种方法对字符串操作十分 ...
C++11 - std::shared_ptr初始化的几种方式
文章目录 1 std::shared_ptr初始化的几种方式 1.1 构造函数初始化 1.2 std::make_shared 初始化(推荐方式) 1.3 reset初始化 1 std::shared ...
java类初始数组_java中数组初始化的三种方式是什么
java中数组初始化的三种方式是:1.静态初始化,如[int a[] = {2, 0, 1, 9, 2020}]:2.动态初始化,如[int[] c = new int[4]]:3.默认初始化,如[i ...

W,b的初始化和几种激活函数

W,b的初始化和几种激活函数相关推荐

最新文章

热门文章