201-3-19李宏毅机器学习视频笔记七（游戏解释Gradient Descent）
视频部分：
视频7：使用帝国时代游戏解释Gradient Descent
李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
https://www.bilibili.com/video/av10590361/?p=7
（1）随机初始位置
（2）找附近比较低，开始走步
（3）走到一个地方发现是附近自己可见范围最低的点-----局部最优解（因为我们因为视野的限制，总是没有办法知道其他的地形，除非我们开天眼，看到整个的额地形地貌）
理解：
我们在进行优化为题的解决的时候会初始化一个方向，因为我们的每一输入的，评测模型输出效果的函数值（Loss Funcation‘，或者是fitness function’）都不是事先知道的额，都需要进行一步步的运才明白，就像我们在搜素的时候只能看到自己视野内的（被计算的）没有天眼（计算所有的结果，然后比较，整体把握，这个应该不现实吧），所以就没有办法判断自己是爱全局最优的地方，还是局部最优的地方。故而通常做的就是找到一个点之后么就当它是局部最优，然后跳出去。或是一开始的时候就可以避免局部最优设计
视频8：为什么使用GD方法更新，Loss会不降反增？？
李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
https://www.bilibili.com/video/av10590361/?p=8
出现了过拟合（模型过于复杂，过度的关注去拟合每一个训练函数）
鞍点：
鞍点在微分方程中,沿着某一方向是稳定的,另一条方向是不稳定的奇点,叫做鞍点.在泛函中,既不是极大值点也不是极小值点的临界点,叫做鞍点.在矩阵中,一个数在所在行中是最大值,在所在列中是最小值,则被称为鞍点.在物理上要广泛一些,指在一个方向是极大值,另一个方向是极小值的点.
201-3-19李宏毅机器学习视频笔记七（游戏解释Gradient Descent）相关推荐
- 2018-3-21李宏毅机器学习视频笔记（十二）--Backpropagation
视频来源: 李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili https://www.bilibili.com/video/av10590361/?p=14 复合函数求偏 ...
- 【李宏毅机器学习】04：梯度下降Gradient Descent
李宏毅机器学习04:梯度下降Gradient Descent 文章目录 李宏毅机器学习04:梯度下降Gradient Descent 一.梯度下降方法 二.梯度下降的改进方法 Tip 1: Tunin ...
- 2018-3-21李宏毅机器学习视频笔记（十三）--“Hello Wrold” of Deep learning
Keras: 有关的介绍:总的来说就是一个深度学习框架 keras - CSDN博客 https://blog.csdn.net/xiaomuworld/article/details/5207620 ...
- 李宏毅 机器学习 2016 秋：3、Gradient Descent
文章目录 三.Gradient Descent 3.1 Tuning your learning rates 3.2 Stochastic Gradient Descent 3.3 Feature S ...
- 视频+笔记+能够跑通的代码，《李宏毅机器学习完整笔记》发布！
点击我爱计算机视觉标星,更快获取CVML新技术 [导读]关于机器学习的学习资料从经典书籍.免费公开课到开源项目应有尽有,可谓是太丰富啦,给学习者提供了极大的便利.但网上比比皆是的学习资料大部分都是英文 ...
- 喜大普奔：Datawhale开源项目《李宏毅机器学习完整笔记》发布了！
开源地址 https://github.com/datawhalechina/leeml-notes [导读]关于机器学习的学习资料从经典书籍.免费公开课到开源项目应有尽有,可谓是太丰富啦,给学习者提 ...
- ng机器学习视频笔记（十四） ——推荐系统基础理论
ng机器学习视频笔记(十三) --推荐系统基础理论 (转载请附上本文链接--linhxx) 一.概述 推荐系统(recommender system),作为机器学习的应用之一,在各大app中都有应用. ...
- ng机器学习视频笔记（十三） ——异常检测与高斯密度估计
ng机器学习视频笔记(十三) --异常检测与高斯密度估计 (转载请附上本文链接--linhxx) 一.概述 异常检测(anomaly detection),主要用于检查对于某些场景下,是否存在异常内容 ...
- ng机器学习视频笔记（二） ——梯度下降算法解释以及求解θ
ng机器学习视频笔记(二) --梯度下降算法解释以及求解θ (转载请附上本文链接--linhxx) 一.解释梯度算法 梯度算法公式以及简化的代价函数图,如上图所示. 1)偏导数 由上图可知,在a点 ...
最新文章
- 在Linux系统安装Nodejs 最简单步骤
- 光流 | 基于光流的人体异常行为检测（附源代码）
- 多媒体技术是指以计算机为手段来获取,计算机应用基础win7课件第八章.ppt
- Python中的协程
- 【K8S学习笔记】Part1：使用端口转发访问集群内的应用
- junit5和junit4_JUnit 5 –条件
- MySQL中字符串函数详细介绍
- 包打包和解析过程 unity_Unity学习—资源管理概览
- dj鲜生-31-用户中心-功能需求分析
- linux建立ftp suse_suse开通ftp的实例
- 机器学习——专业名词
- python卸载清理注册表_使用Python操作注册表
- 软件测试流程图Bug管理流程图
- 网吧WEB、游戏、影视服务器应用需求分析
- 京东到家订单派发的技术实战
- 什么软件可以支持图片转语音？
- 进程间通信有哪几种方式？进程间通信的方法详解
- 二叉树算法大总结:借助遍历的题型+需要借助递归返回多个信息的题型[本质:遍历]
- mysql启动错误1455_orcl-1455错误
- “素质教育”与“动力汽车”——徐小平