梯度下降(二)--机器学习
文章目录
- 1.提出问题
- 2.简化
- 3.导数部分的工作原理
- 4.学习因子$\alpha$起到的作用
- 4.1决定收敛的快慢
- 4.2在局部最优点的情况
- 4.3梯度下降能聚焦到局部最优解,即使$\alpha$不变
1.提出问题
α\alphaα和∂∂θjJ(θ0,θ1)\frac{\partial}{\partial \theta_j}J(\theta_0,\theta_1)∂θj∂J(θ0,θ1)起到的作用以及更新函数为什么是有效的?
2.简化
我们再次将J(θ0,θ1)J(\theta_0,\theta_1)J(θ0,θ1)简化为(J(θ1))(J(\theta_1))(J(θ1)),由之前的知识我们可以得到,J(θ1)J(\theta_1)J(θ1)函数是一个二次函数。如下图。
3.导数部分的工作原理
θ1:=θ1−α∂∂θ1J(θ1)\theta_1:=\theta_1-\alpha \frac{\partial}{\partial \theta_1}J(\theta_1)θ1:=θ1−α∂θ1∂J(θ1)
因为α\alphaα是正数,在右边的时候导数是大于零的,所以θ1\theta_1θ1是在变小的;同理,在左边的时候导数是小于零的,所以θ1\theta_1θ1是在变大的;即θ1\theta_1θ1的变化方向是对的,这就是θ1\theta_1θ1起到的作用。
4.学习因子α\alphaα起到的作用
4.1决定收敛的快慢
如果α\alphaα太小,那么梯度下降的就比较慢,如果α\alphaα太大,梯度下降可能会越过最小点,甚至发散开来
4.2在局部最优点的情况
在局部最优点时,J(θ1)=0,θ1J(\theta_1)=0,\theta_1J(θ1)=0,θ1更新后和原来的值一样,和我们期望的结果一致。
4.3梯度下降能聚焦到局部最优解,即使α\alphaα不变
因为随着慢慢的靠近最低点,J(θ1)J(\theta_1)J(θ1)会慢慢的变小,收敛速度会自己慢慢地变慢。如下图所示,每一次更加接近最优解,J(θ1)J(\theta_1)J(θ1)会变小,收敛的速度会变慢
梯度下降(二)--机器学习相关推荐
- 深度学习(24)随机梯度下降二: 常见函数的梯度
深度学习(24)随机梯度下降二: 常见函数的梯度 Common Functions 1. y=xw+by=xw+by=xw+b 2. y=xw2+b2y=xw^2+b^2y=xw2+b2 3. y=x ...
- 机器学习中为什么需要梯度下降_机器学习 —— 多元梯度下降
一.多维特征 前面所述的房价预测的线性模型,只用到了一维特征,即size,房屋尺寸,要用这个特征量来预测房屋价格: 当数据集的信息不止一种时,便有了多维特征,比如: 上图有四个X,即四个特征,来预测房 ...
- 3. 机器学习中为什么需要梯度下降_机器学习中一些模型为什么要对数据归一化?...
一般做机器学习应用的时候大部分时间是花费在特征处理上,其中很关键的一步就是对特征数据进行归一化,为什么要归一化呢?很多同学并未搞清楚,维基百科给出的解释: 1)归一化后加快了梯度下降求最优解的速度 蓝 ...
- 如何使基于梯度下降的机器学习并行化
转载自:http://blog.csdn.net/u013166160/article/details/17539427 本文,讨论batch-gradient和stochastic gradient ...
- 机器学习中为什么需要梯度下降_机器学习101:一文带你读懂梯度下降
原标题 | Machine Learning 101: An Intuitive Introduction to Gradient Descent 作者 | Thalles Silva 译者 | 汪鹏 ...
- 机器学习中为什么需要梯度下降_机器学习,梯度下降算法,问题引入
知乎视频www.zhihu.com 今天讲解的内容是梯度下降算法. 梯度下降算法在机器学习中的应用十分广泛,该算法的最主要目的是通过迭代的方法找到目标函数的最小值,经常用来解决线性回归和逻辑回归等相 ...
- 多元函数梯度下降 java_机器学习知识点(五)梯度下降法Java实现
梯度下降法,就是利用负梯度方向来决定每次迭代的新的搜索方向,使得每次迭代(步长)能使待优化的目标函数逐步减小.梯度下降法是2范数下的最速下降法,用来求解函数的最小值,无约束优化. 看数学定义都晦涩,网 ...
- 梯度下降背后的数学原理几何?
来自 | 深度学习这件小事 编辑 | Datawhale 对于诸位"机器学习儿"而言,梯度下降这个概念一定不陌生,然而从直观上来看,梯度下降的复杂性无疑也会让人"敬而 ...
- 不能兼顾速度与精度,STOC 2021最佳论文揭示梯度下降复杂度理论
©作者 | 机器之心编辑部 来源 | 机器之心 梯度下降算法具有广泛的用途,但是关于它的计算复杂度的理论研究却非常少.最近,来自利物浦大学.牛津大学的研究者从数学的角度证明了梯度下降的计算复杂度,这项 ...
- 最佳论文!牛津大学揭示梯度下降复杂度理论
点上方计算机视觉联盟获取更多干货 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:机器之心 AI博士笔记系列推荐 周志华<机器学习>手推笔记正式开源!可打印版本附pdf下载链接 梯 ...
最新文章
- python3 下划线的5中含义
- linux ssh连接慢
- Steam 导入已下载好的游戏
- 如何在 Flutter 和 Dart 中检查数字字符串
- [JSP暑假实训] 四.MyEclipse+Servlet+JSP实现火车票网站查询、修改、删除操作
- dict后缀_学习词根dict 成片记单词
- qchart画完以后删除_身为宫廷画师,郎世宁为何要偷偷画乾隆的侧身像?跟一次惩罚有关...
- 微软正在开发基于 Rust 的安全编程语言
- 如何才能更容易拿到大厂Offer?从理论到实践!
- ZooKeeper 这么牛逼,基本原理你懂吗?
- 201521123070 《JAVA程序设计》第6周学习总结
- H3C 命令行历史记录功能
- 双物块弹簧阻尼系统模型,李雅普诺夫稳定性分析,matlab仿真验证
- 厉害了,竟有程序员在GitHub上建了一个新华词典数据库
- 关于地理数据坐标转换
- 怎么压缩html的文件,css如何压缩?
- 聚合数据API接口测试详细步骤
- 递归例题讲解 一本通1215:迷宫 答案解析
- 移动端cpu天梯图2020_笔记本CPU排行天梯图2020
- 基于FPGA的数字时钟的设计课设(HUAT)
热门文章
- 倍增法求LCA(最近公共最先)
- Android 学习思维导图
- mockito简单教程
- 【C#】第2章学习要点
- UVa 10082 WERTYU
- ibatis mybatis sql语句配置 符号不兼容 大于号 小于号
- Anaconda的安装与使用(Windows下)
- java gui 保存文件_用JAVA编写一个GUI记事本程序,实现文本的输入,保存,修改,打开操作...
- oracle sql 分区查询语句_Oracle分区表跨分区查询数据为空
- linux怎么读取kvaser的数据,基于Python下的Kavasers CAN报文收发调试