1 概述

由于南溪只有一块2080Ti，所以暂时不会考虑用强化学习的方法来做~
南溪目前想要学习的超参数搜索算法有：

网格搜索
随机搜索
贝叶斯搜索
粒子群算法
进化算法
遗传算法
（7. 强化学习）

2 网格搜索——Grid Search

网格搜索是我们需要尝试的第一种超参数搜索算法~
算法的思路是这样的，
初始设置：搜索空间[10−6,1][10^{-6},1][10−6,1]；

设定初始的搜索种子，（来自原始论文或者默认值）；
计算种子的自然指数；
将原始的搜索空间计算对应的自然指数的值域range；
取向上和向下方向的指数值域的最小值；
从向上方向开始搜索；
如果遇到loss上升或者NaN的情况，则需要对搜索空间进行rerange；

参数说明：
搜索时间（暂定）：24h
默认初始值：0.00125（来自PaddleDetection-FAQ(常见问题)）

超参数搜索——初始学习率搜索的学习笔记相关推荐

目标检测——初始学习率设置的学习笔记
1 学习率的搜索策略我们采用双向搜索的方法进行搜索: 也就是从初始学习率,按照增大学习率和减小学习率两个方向进行搜索: 于是在分方向进行搜索之前,我们需要设置学习率的初始搜索点, 搜索点的初始设置可 ...
经典神经网络论文超详细解读（八）——ResNeXt学习笔记（翻译＋精读＋代码复现）
前言今天我们一起来学习何恺明大神的又一经典之作: ResNeXt(<Aggregated Residual Transformations for Deep Neural Networks&g ...
经典神经网络论文超详细解读（二）——VGGNet学习笔记（翻译＋精读）
前言上一篇我们介绍了经典神经网络的开山力作--AlexNet:经典神经网络论文超详细解读(一)--AlexNet学习笔记(翻译+精读) 在文章最后提及了深度对网络结果很重要.今天我们要读的这篇VGG ...
Java启动参数与内存调优一些学习笔记
转载自 Java启动参数与内存调优一些学习笔记 .参数的含义 -Xms128m JVM初始分配的堆内存 -Xmx512m JVM最大允许分配的堆内存,按需分配 -XX:PermSize=64M JV ...
超参数优化（网格搜索和贝叶斯优化）
超参数优化 1 超参数优化 1.1 网格搜索类 1.1.1 枚举网格搜索 1.1.2 随机网格搜索 1.1.3 对半网格搜索(Halving Grid Search) 1.2 贝叶斯超参数优化(推荐) ...
3.2 为超参数选择合适的范围-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.1 调试处理回到目录 3.3 超参数训练的实践: Pandas vs. Caviar 为超参数选择合适的范围 (Using an Appropriate Scale t ...
经典神经网络论文超详细解读（一）——AlexNet学习笔记（翻译＋精读）
本文将为大家介绍经典神经网络的开山力作--AlexNet(ImageNet Classification with Deep Convolutional Neural Networks).文章包含论文 ...
（pytorch-深度学习系列）模型参数的初始化与访问操作-学习笔记
模型参数的初始化与访问操作学习如何初始化以及访问模型参数,以及如何在多层之间共享模型参数首先定义一个含有单个隐藏层的多层感知机,使用默认方式初始化该模型的参数,并且进行一次前向计算: impor ...
有关AutoCompleteBox组件的研究[5][Final]_集成搜索引擎搜索建议(Search Suggestion)——Silverlight学习笔记[40]...
在AutoCompleteBox组件中集成搜索引擎的功能是十分常见的,这有助于我们更好地与Web进行交互.本文将为大家讲述如何在在AutoCompleteBox组件中集成搜索引擎的搜索建议. 实例: ...

超参数搜索——初始学习率搜索的学习笔记

1 概述

2 网格搜索——Grid Search

超参数搜索——初始学习率搜索的学习笔记相关推荐

最新文章

热门文章