吴恩达深度学习 —— 4.7 参数 vs. 超参数

想要你的深度神经网络起很好的效果，你还需要规划好你的参数以及超参数，那么什么是超参数呢？我们看一下模型里的参数WWW和bbb，在学习算法中还有其它参数，需要输入到学习算法中，比如学习率α\alphaα，因为我们需要设置α\alphaα来决定你的参数如何进化，或者还有梯度下降法循环的次数，在你的算法中也许也有其它想要设置的参数，比如隐层数L，或是隐层单元数，还可以选择激活函数，在隐层中用修正线性单元还是tanh，或者是sigmoid函数。

算法中的这些数字都需要你来设置，这些数字实际上控制了最后参数WWW和bbb的值，所以它们被称作超参数。因为这些超参数，比如α\alphaα是学习率，循环的次数，隐层的数量等都是能够控制WWW和bbb的，所以这些东西称为超参数。因为这些超参数某种程度上决定了最终得到的WWW和bbb。实际上深度学习有很多不同的超参数，之后也会过一下其它的超参数，比如momentum，再比如mini batch的大小，几种不同的正则化参数等等。

正因为深度学习有这么多的超参数，和机器学习时代的早期相比，我会保持一致，把学习率α\alphaα称为一个超参数而不是参数。可能在早期的机器学习中，还没有那么多超参数，很多人以前都很随便，以前就把α\alphaα作为参数，但是技术上讲α\alphaα是一个控制实际参数的参数，秉承前后一致的原则，我们应该把α\alphaα这类参数、循环的次数等称为超参数。所以当你自己着手训练自己的深度神经网络时，你会发现超参数的选择有很多可能性，所以你得尝试不同的值。

今天的深度学习应用领域还是很经验性的过程，通常你有个想法，比如你可能大致知道，一个最好的学习率值，可能说α\alphaα等于0.01最好，然后实际试一下，训练一下看看效果如何，然后基于尝试的结果你会发现你觉得学习率的设定再提高到0.05会比较好。如果你不确定什么值是最好的，可以先试试一个学习率α\alphaα，再看看损失函数J的值有没有下降，然后可以试试大一些的值，然后发现损失函数的值增加并发散了，然后试一下其它的数，看结果是否下降的很快，或者收敛到在更高的位置，可以尝试不同的α\alphaα并观察损失函数的变化。

超参数有很多，当开始开发新应用时，预先很难确切知道超参数的最优值应该是什么。所以通常你必须尝试很多不同的值，并走这个循环，试试各种参数，实现模型并观察是否成功，然后再迭代。

吴恩达深度学习 —— 4.7 参数 vs. 超参数相关推荐

花书+吴恩达深度学习（二十）构建模型策略（超参数调试、监督预训练、无监督预训练）
目录 0. 前言 1. 学习率衰减 2. 调参策略 3. 贪心监督预训练 4. 贪心逐层无监督预训练如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十 ...
360题带你走进深度学习！吴恩达深度学习课程测试题中英对照版发布
吴恩达的深度学习课程(deepLearning.ai)是公认的入门深度学习的宝典,本站将课程的课后测试题进行了翻译,建议初学者学习.所有题目都翻译完毕,适合英文不好的同学学习. 主要翻译者:黄海广内 ...
github标星8331+：吴恩达深度学习课程资源（完整笔记、中英文字幕视频、python作业，提供百度云镜像！）...
吴恩达老师的深度学习课程(deeplearning.ai),可以说是深度学习入门的最热门课程,我和志愿者编写了这门课的笔记,并在github开源,star数达到8331+,曾经有相关报道文章.为解决g ...
深度学习入门首推资料--吴恩达深度学习全程笔记分享
本文首发于微信公众号"StrongerTang",可打开微信搜一搜,或扫描文末二维码,关注查看更多文章. 原文链接:(https://mp.weixin.qq.com/s?__bi ...
花书+吴恩达深度学习（二八）深度生成模型之有向生成网络（VAE, GAN, 自回归网络）
文章目录 0. 前言 1. sigmoid 信念网络 2. 生成器网络 3. 变分自编码器 VAE 4. 生成式对抗网络 GAN 5. 生成矩匹配网络 6. 自回归网络 6.1 线性自回归网络 6.2 ...
花书+吴恩达深度学习（二五）直面配分函数（CD, SML, SM, RM, NCE）
文章目录 0. 前言 1. 对数似然梯度 1.1 朴素 MCMC 算法 1.2 对比散度算法 CD 1.3 随机最大似然 SML 2. 伪似然 3. 得分匹配 SM 4. 比率匹配 RM 5. 去噪得 ...
花书+吴恩达深度学习（二四）蒙特卡罗方法（重要采样，MCMC）
文章目录 0. 前言 1. 重要采样 2. 马尔可夫链蒙特卡罗 MCMC 3. 不同峰值之间的混合挑战如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 花书+吴恩达深度学习( ...
花书+吴恩达深度学习（二二）自编码器（欠完备，DAE，CAE，PSD）
文章目录 0. 前言 1. 欠完备自编码器 2. 去噪自编码器 DAE 3. 收缩自编码器 CAE 4. 稀疏自编码器 5. 预测稀疏分解 PSD 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞 ...
花书+吴恩达深度学习（十九）构建模型策略（训练模型顺序、偏差方差、数据集划分、数据不匹配）
目录 0. 前言 1. 调试模型顺序 2. 偏差方差的解决方法 3. 数据集的选取划分 4. 数据不匹配问题 5. 评估指标的选取 6. 贝叶斯最佳误差如果这篇文章对你有一点小小的帮助,请给个关注, ...
花书+吴恩达深度学习（十八）迁移学习和多任务学习
目录 0. 前言 1. 迁移学习 2. 多任务学习如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十八)迁移学习和多任务学习花书+吴恩达深度学习(十 ...

吴恩达深度学习 —— 4.7 参数 vs. 超参数

吴恩达深度学习 —— 4.7 参数 vs. 超参数相关推荐

最新文章

热门文章