2020-6-9 吴恩达-改善深层NN-w3 超参数调试(3.3 超参数训练的实践：Pandas(资源少，一次一个模型) VS Caviar(资源多，一次多个模型))
1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai
3.3 超参数训练的实践：Pandas VS Caviar Hyperparameters tuning in practice:Pandas vs. Caviar
本节将介绍如何组织你的超参数搜索过程。
如今的DL已经应用到许多不同的领域，某个应用领域的超参数设定，有可能通用于另一领域，不同的应用领域出现相互交融。
比如，我曾经看到过计算机视觉领域中涌现的巧妙方法，比如说Confonets或ResNets，它还成功应用于语音识别。我还看到过最初起源于语音识别的想法成功应用于NLP等等。
DL领域中，发展很好的一点是，不同应用领域的人们会阅读越来越多其它研究领域的文章，跨领域去寻找灵感。
就超参数的设定而言，我见到过有些直觉想法变得很缺乏新意。所以，即使你只研究一个问题，比如说逻辑学，你已经找到一组很好的参数设置，并继续发展算法，但是在几个月的过程中，观察到你的数据会逐渐改变；或许在你的数据中心更新了服务器，正因为有了这些变化，你原来的超参数的设定不再好用。
所以我建议，至少每隔几个月一次，重新测试或评估你的超参数，以确保你对数值依然很满意。
关于如何搜索超参数的问题，我见过大概两种重要的思想流派，或者说人们通常采用的两种重要但不同的方式。
一种是你照看一个模型（babysit one model），通常是有庞大的数据组，但没有许多计算资源或足够的CPU和GPU的前提下，基本而言，你只可以一次负担起试验一个模型或一小批模型。在这种情况下，即使当它在试验时，你也可以逐渐改良。
观察上图。
- 第0天，你将随机参数初始化，然后开始试验。
- 第1天，你逐渐观察自己的学习曲线，也许是损失函数J，或者数据设置误差或其它的东西，在第1天内逐渐减少，那这一天末的时候，你可能会说，看，它学习得真不错。
- 第2天，我试着增加一点学习速率，看看它会怎样，也许结果证明它做得更好，那是你第二天的表现。
- 第3天，两天后，你会说，它依旧做得不错，也许我现在可以填充下Momentum或减少变量。然后进入第三天。
每天，你都会观察它，不断调整你的参数。也许有一天，你会发现你的学习率太大了，所以你可能又回归之前的模型，像图中的箭头处那样。你可以说是在每天花时间照看此模型，即使是它在许多天或许多星期的试验过程中。
这就是人们照料一个模型的一种方法，观察它的表现，耐心地调试学习率。但那通常是因为你没有足够的计算能力，不能在同一时间试验大量模型时才采取的办法。
另一种方法则是同时试验多种模型。
如上图。你设置了一些超参数，尽管让它自己运行，或者是一天甚至多天，然后你会获得像这样的学习曲线，这可以是损失函数J，或实验误差的损失，或数据设置误差的损失。
同时你可以开始一个有着不同超参数设定的不同模型，所以，你的第二个模型会生成一个不同的学习曲线，如上图中的紫色线。
与此同时，你可以试验第三种模型。或者你可以同时平行试验许多不同的模型，如上图。
用这种方式你可以试验许多不同的参数设定，最后快速选择工作效果最好的那个。在这个例子中，也许绿色曲线看起来是最好的。
观察上图，Pandas VS Caviar 。我们可以打个比方。
- 左边的方法称为熊猫方式（Panda）。当熊猫的孩子非常少，一次通常只有一个。他们花费很多精力抚养熊猫宝宝以确保其能成活。在这种方式下，一种模型就类似于一只熊猫宝宝。
- 对比而言，右边的方式更像鱼类的行为，我称之为鱼子酱方式（Caviar）。鱼类繁殖的方式是，它们会产生很多卵，但不对其中任何一个多加照料，只是希望其中一个，或其中一群，能够表现出色。这是哺乳动物繁衍和鱼类，很多爬虫类动物繁衍的区别。
这两种方式的选择，是由你拥有的计算资源决定的。
如果你拥有足够的计算机去平行试验许多模型，那绝对采用鱼子酱方式，尝试许多不同的超参数，看效果怎么样。
但在一些应用领域，比如在线广告设置和计算机视觉应用领域，那里的数据太多了，你需要试验大量的模型，所以同时试验大量的模型是很困难的，它是依赖于应用的过程。我看到那些领域应用熊猫方式会多一些。
2020-6-9 吴恩达-改善深层NN-w3 超参数调试(3.3 超参数训练的实践：Pandas(资源少，一次一个模型) VS Caviar(资源多，一次多个模型))相关推荐
- 2020-5-22 吴恩达-改善深层NN-w1 深度学习的实用层面(1.7 理解 Dropout--压缩权重/分层设置keep-prob)
1.视频网站:mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c 2.详细笔记网站(中文):http://www.ai-sta ...
- 吴恩达最新成果 CheXNet详解：肺炎诊断准确率超专业医师
离开百度之后,吴恩达在学术界异常活跃,除了推出最新的深度学习在线课程之外,他还带领着一支来自斯坦福的团队不断推进深度学习在医疗领域的应用. 近日,吴恩达团队在 arXiv 上发表了他们的最新成果--用 ...
- 吴恩达：AI要拥抱【高质量小数据】的训练范式
丰色 编译整理 量子位 | 公众号 QbitAI AI大牛吴恩达不久前刚被检测出新冠阳性,许多网友都向他表达了早日康复的祝愿.而最新消息显示,目前已经康复. 如今,他的工作重心放在了他的Landing ...
- 吴恩达深度学习2.3笔记_Improving Deep Neural Networks_超参数调试 和 Batch Norm
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/weixin_42432468 学习心得: 1.每周的视频课程看一到两遍 2.做笔记 3.做每周的作业 ...
- 吴恩达神经网络和深度学习-学习笔记-5-参数和超参数
超参数:能够决定参数的参数 通常很难知道什么样的超参数最好,所以要尝试很多不同的值 而且对于同一个问题,最优的超参数也可能随时间变化 应用深度学习领域是一个很大程度基于经验的过程
- 深度学习（二）吴恩达给你的人工智能第一课： 02.改善深层神经网络：超参数调试、正则化以及优化
目录 第一周 深度学习的实用层面 1.1 训练 / 开发 / 测试集 1.1.1. 训练集.验证集.测试集 1.2 偏差 / 方差 1.3 机器学习基础 1.3.1.降低偏差/降低 ...
- 吴恩达、李飞飞、沈向洋：2021年的人工智能将会如何发展？
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 转载自:机器之心 2020 年伴随着很多前所未有的事,在坎坷的一年过去之后,我们将迎来怎样的新 ...
- 【人工智能行业大师访谈7】吴恩达采访 Ruslan Salakhutdinov
来源:Coursera吴恩达深度学习课程 作为deeplearning.ai课程的一部分,Andrew希望除了教授技术理念之外,同时介绍一些深度学习的先驱给大家认识.在这个视频中,Andrew也希望问 ...
- 从六大概念总结吴恩达机器学习书籍：如何做好工程项目实践？
选自towardsdatascience 作者:Niklas Donges 机器之心编译 在 ML 工程实践中,很多时候都会走一些弯路,可能是模型选错了,也可能是某个超参数一直不正确.那么我们该如何根 ...
最新文章
- Mysql错误: Lock wait timeout exceeded 解决办法
- CCNA认证(1）--CCNA简介
- Linux 配置yum本地安装源
- 【解决bug之路】JAVA 之 static
- Apache ActiveMQ中的消息级别授权
- 网易交互设计师微专业C4 让页面更优雅
- 我的Android进阶之旅------android中一些特殊字符（如：←↑→↓等箭头符号）的Unicode码值
- 大学生搭建自己的web项目服务器心得
- 解决方案：Win C++ mingw编译器出现 不支持的16位程序问题
- 【自适应盲均衡11】基于Volterra级数的双线性CMA盲均衡算法与MATLAB仿真(采用16QAM信号模型)
- 2023山东大学计算机考研信息汇总
- 基于Patachmatch的stereo matching笔记（三）：《PatchmatchNet》
- 免密钥登录脚本（转载）
- 利用Python爬虫爬取斗鱼直播间信息，以及直播的实际人数！
- bose蓝牙音箱使用说明_性价比甄选 推荐这5款超值得入手的蓝牙音箱
- 生态系统名词解释笔记
- 黄世仁之监听程序前后台切换
- AI人工智能学习准备之路线图
- Web应用程序渗透测试你都知道这些吗？如何选择软件检测机构
- 计算机管理系统绪论,计算机控制系统绪论.ppt