调试处理

对于超参数，如何才能找到一个比较好的设定呢？

如图所示，我们可能会需要调试很多的超参数。但其中最重要的超参数还是学习率。被红色圈住的是最重要的超参数，橙色的是次重要的超参数。紫色是再其次重要的。

如果想调试一系列的超参数，具体应该怎么做呢？

如图所示，我们通常情况下会采用图中右侧所示的情况来选择超参数，比如说二维情况下，我们确定选择范围之后随机选点，然后看看这个超参数效果好不好。三维也是如此。

我们还有一种超参数的选择策略

如图所示，这是一个从粗糙到精细的过程，比如说，如果你发现了某一个超参数比较好，然后就在这个更小的范围内去选项超参数，缩小选择范围可能会得到更好的结果。

为超参数选择合适的范围

我们上面介绍的随机提取并不是在有效范围内随机的均匀取值，而是选择合适的标尺，用来探究这些超参数。

如图所示，这是对参数的取值范围选取，看到均匀选取可能是合适的，但这个对于超参数而言并不成立，我们来看一下超参数是如何选取的。

如图所示，我们来看一个学习率的例子。我们如果使用均匀取值的话，那么0.1-1的概率将会占到90%，而0.001-0.1的范围只占到了10%，这就十分不合理了，所以我们使用对数标尺来搜索超参数。取值方法如图所示。

另外一个比较棘手的问题是对ββ\beta取值，比如他的搜索范围是从0.9-0.999

这里的0.9就相当于对10天的情况取平均，而0.999相当于对1000天的情况取平均。所以，不能使用随机平均来选取这些超参数，也要用对数的形式。

如图所示，我们换成了1−β1−β1-\beta的形式，然后对数处理，在[-3,-1]里面取平均就可以了。通过这种方法就可以实现了从0.9-0.99和0.99-0.999取值一样多的情况。

因为ββ\beta是指数加权平均，所以一定要用对数处理一下，才能达到真正的平均。

吴教主深度学习和神经网络课程总纲

2.3.1 为超参数选择合适的范围相关推荐

3.2 为超参数选择合适的范围-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.1 调试处理回到目录 3.3 超参数训练的实践: Pandas vs. Caviar 为超参数选择合适的范围 (Using an Appropriate Scale t ...
3.2 为超参数选择合适的范围
Lecture6：激活函数、权值初始化、数据预处理、批量归一化、超参数选择
目录 1.最小梯度下降(Mini-batch SGD) 2.激活函数 2.1 sigmoid 2.2 tanh 2.3 ReLU 2.4 Leaky ReLU 2.5 ELU 2.6 最大输出神经元 ...
深度学习-Tensorflow2.2-深度学习基础和tf.keras{1}-优化函数，学习速率，反向传播，网络优化与超参数选择，Dropout 抑制过拟合概述-07
多层感知器: 优化使用梯度下降算法学习速率学习速率选取原则反向传播 SGD RMSprop Adam learning_rate=0.01 # -*- coding: utf-8 -*- # - ...
sklearn超参数选择
本篇文章主要介绍在sklearn中采用GridSearchCV和RandomizedSearchCV进行超参数选择. 一.超参数介绍: 1,超参数:在模型训练中,有些参数不能通过对数据进行学习得到,这 ...
SVM模型应用（四）SVM模型的超参数选择
SVM模型超参数优化目前常用的方法是让C和g在一定的范围内取值,对于取定的c和g,把训练集作为原始数据集利用K-CV方法得到在此对c和g组合下验证集的分类准确率,最终取得训练集验证分类准确率最高的那组 ...
pyqt 槽任意参数_根据效果及设计参数选择合适的洗墙灯
洗墙灯规格很多,需要按照设计要求来选择合适的洗墙灯. LED洗墙灯是用于投光的条形led灯具,采用大功率灯珠为光源,又称为led大功率洗墙灯,大功率LED线条灯,led线形投光灯. LED洗墙灯采用6 ...
Dropout抑制过拟合与超参数选择
一.代码 model=tf.keras.Sequential()#建模 model.add(tf.keras.layers.Flatten(input_shape=(28,28)))#28*28的向量 ...
3.3 超参数训练实战：Pandas vs. Caviar-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.2 为超参数选择合适的范围回到目录 3.4 正则化网络的激活函数超参数训练实战:Pandas vs. Caviar (Hyperparameters Tuning i ...

2.3.1 为超参数选择合适的范围

调试处理

为超参数选择合适的范围

2.3.1 为超参数选择合适的范围相关推荐

最新文章

热门文章