百度提前批-面试凉凉之-梯度下降
说实话,我真的觉得自己脑子不好使,也是恒自己啊,之前我学过的,但是自己没记牢,难受,问道这个关羽梯度下降的问题,我就勉强答了一个随机梯度下降。
怎么说呢,我面试的这个岗位是:数据挖掘,也是我投简历后收到的第一个面试通知,百度提前提,自己确实是没啥时间准备,之前也是忘得差不多了,这次面试我是懂得了,确实把,这个基础真的是很重要的,一些简单的概念是要要牢牢记住的,至少面试前一定要牢牢记住的。
我这次面试感觉一点儿都不好,好多本来自己可以回的没结果也没答对,怪我自己,心里确实不是滋味的。加油吧。
梯度下降:
什么是梯度下降?
梯度;
梯度总结一句话: 对各个未知参数求偏导。
在微积分里面,对多元函数的参数求∂偏导数,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。比如函数f(x,y), 分别对x,y求偏导数,求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称grad f(x,y)或者▽f(x,y)。对于在点(x0,y0)的具体梯度向量就是(∂f/∂x0, ∂f/∂y0)T.或者▽f(x0,y0),如果是3个参数的向量梯度,就是(∂f/∂x, ∂f/∂y,∂f/∂z)T,以此类推。
那么这个梯度向量求出来有什么意义呢?他的意义从几何意义上讲,就是函数变化增加最快的地方。具体来说,对于函数f(x,y),在点(x0,y0),沿着梯度向量的方向就是(∂f/∂x0, ∂f/∂y0)T的方向是f(x,y)增加最快的地方。或者说,沿着梯度向量的方向,更加容易找到函数的最大值。反过来说,沿着梯度向量相反的方向,也就是 -(∂f/∂x0, ∂f/∂y0)T的方向,梯度减少最快,也就是更加容易找到函数的最小值。
自己说的不够全面,所以找了一些资料来进行总结。
梯度下降:
为什么会用到梯度下降?梯度下降的意义?
梯度的方向就是函数值变化最快的方向,沿着梯度的方向可以得到函数值最快变化的方并且沿着该方向可以得到函数的最大值;反之,沿着梯度的反方向就可以得到使得函数最小的变化最快的方向。
我们在进行求解的过程总,一般都是使用损失函数,使得损失函数的数值达到最小也就是函数达到了最优,这样我们就需要梯度下降,沿着梯度下降的方向也就是函数变化最快的方向,也就是函数最优的方向。
反之,也可以求损失函数的相反数,就可以用到梯度上升。
梯度下降的原理:
首先来看看梯度下降的一个直观的解释。比如我们在一座大山上的某处位置,由于我们不知道怎么下山,于是决定走一步算一步,也就是在每走到一个位置的时候,求解当前位置的梯度,沿着梯度的负方向,也就是当前最陡峭的位置向下走一步,然后继续求解当前位置梯度,向这一步所在位置沿着最陡峭最易下山的位置走一步。这样一步步的走下去,一直走到觉得我们已经到了山脚。当然这样走下去,有可能我们不能走到山脚,而是到了某一个局部的山峰低处。
从上面的解释可以看出,梯度下降不一定能够找到全局的最优解,有可能是一个局部最优解。当然,如果损失函数是凸函数,梯度下降法得到的解就一定是全局最优解。
梯度下降的算法如何进行调优
1、步长 首先对于步长的选择要合适,步长太大,会导致迭代过快容易跳过最优值,步长太小迭代过慢,容易导致陷入局部最优。可以选择多种步长进行尝试,然后观察梯度值是否在降低。只有选择多次之后,才会得到一个最优的数值。
2、算法参数初始值的选择。初始值的选择不同,最优值也就不同,有可能会存在局部最优的风险,如果是凸函数肯定就会得到最优值。需要选择多个初始值来进行求解。
3、需要将特征进行归一化。对数据进行归一化,求出期望值和标准差,可以加快迭代速度。
梯度下降的方法有哪些?
随机梯度下降
随机取一个样本来进行更新。
批量梯度下降
取所有的样本来进行更新。
小批量梯度下降
折中,随机取一些样本进行更新。
百度提前批-面试凉凉之-梯度下降相关推荐
- 2020百度提前批面试
一面 自我介绍 介绍一下项目 项目中有没有用正则化方法 BatchNorm能不能阻止梯度消失 对什么机器学习算法有了解 说一下逻辑回归 XGBoost和GBDT的区别 代码:遍历二叉树 代码:计算根号 ...
- 百度提前批算法工程师面筋!效率有、高
作者 | 无尽の等待 整理 | NewBeeNLP 面试锦囊之面经分享系列,持续更新中 欢迎后台回复『面试』加入讨论组交流噢 七月中旬投递百度提前批,7.29一面,7.30通知8.2日二面,8月4 ...
- 百度提前批-百度智能小程序(面经详解)
文章目录 百度提前批-百度智能小程序(面经详解) 1.定位 2.z-index .层叠 3.作用域(scope) 4.单例模式 5.原型链 6.继承(借用构造函数,寄生组合继承,缺点是什么) 7.闭包 ...
- Linux-京东字节百度提前批,一面二面都被问到了awk——实例篇(4)ip地址相关
去年提前批我投了京东.字节和百度,一面,二面都被问到了awk,如果你会,并且还很熟悉,那肯定算是一个加分项了!好感度up up up! 基本原理本篇不再赘述.请阅读: 总结了200篇面经中的awk面试 ...
- 华为南研所提前批面试(2015年8月22日)
华为南研所提前批面试时间是8.20-8.22号.我收到的通知是8.22中午11点.但根据前两天同学汇报的情况一般都会拖晚一点,有些甚至到下午才能面到.所以楼主也是做好心里准备去的.但出乎意料,11:2 ...
- 2022校招百度提前批校园招聘
2022校招百度提前批校园招聘 文章目录 2022校招百度提前批校园招聘 起止日期:2022年07月05日-2022年08月27日 起止日期:2022年07月05日-2022年08月27日 百度202 ...
- vivo人工智能推荐算法岗提前批面试
vivo人工智能推荐算法岗提前批面试 8月15日面了vivo的人工智能推荐岗位 主要的面试问题有: 1.RNN的正向传播公式 2.CNN的正向传播公式 3.深度学习项目中过拟合的问题?怎么解决?样本不 ...
- 2023年西安交通大学管理学院MPAcc提前批面试网报通知
1,提前批政策 2023年西安交通大学管理学院非全日制会计硕士(MPAcc)入学考试继续采用考前预审及面试(以下称为提前批面试)方式,考生可通过提前批次和正常批次两种方式录取. 提前批面试结果分为两个 ...
- 报考浙大MBA项目的关键点之一:提前批面试解析
2024年MBA联考备考工作已经陆续起航,在浙江省最为吸引考生的项目非浙大MBA莫属,除了省内唯一所名校MBA项目的光环外,浙大MBA项目自身的专业建设体系以及在全国的影响力也是内在实力 ...
最新文章
- 【Web全栈课程5】jsonp简单使用
- 使用nc检测udp端口是否可以正常通讯
- AWS Artifact如何处理企业的法规遵从?
- 开源监控系统 Prometheus 入门
- python 去除字符串里所有标点符号
- 【技术】TCP 的固定窗口和滑动窗口
- Kafka参数图鉴——unclean.leader.election.enable
- 活久见!一美国大爷发明了永不掉链子的自行车,垂直踩踏即可驱动
- keepalive日志_12.日志收集项目-数据流图以及nginx安装
- python报表自动化系列 - 获取某月日历并以列表形式返回(公历)
- scrapy框架Selector提取数据
- sci的figure怎么做_SCI论文中Figure图如何制作?
- 一.反编译Apk得到Java源代码
- storm无损 the wolven_TheFatRat,Maisy Kay-The Storm[FLAC格式]
- python数据挖掘学习路线
- 常用软件的安装与卸载
- 注解@NotEmpty、@NotBlank、@NotNull三者的区别及使用范围
- UserWarning: findfont: Font family [‘sans-serif‘] not found. Falling back to DejaVu Sans
- 用html和css轻松实现康奈尔笔记(5R笔记)模板
- windows embed sapi php,19.1 嵌入式SAPI
热门文章
- 吐血整理一个月——终于把所有Python库整理齐了.....
- oracle AWR 报告 中文版
- Java如何获取IP属地 ip2region failed to create searcher with x:java.io.FileNotFoundException:( 系统找不到指定的路径)
- cart算法示例代码
- vue+gin—— GetcharZp
- 百度java面试题(一)2020整理
- linux常用命令_Linux常用命令~~~
- 3559A sample hifb解析
- 网页采集工具-免费网页采集工具大全
- BIM家装族库丨艺术家具族