复盘：什么是权重衰减?深度学习权重衰减

2024-06-01 11:43:33

复盘：什么是权重衰减？深度学习权重衰减

提示：系列被面试官问的问题，我自己当时不会，所以下来自己复盘一下，认真学习和总结，以应对未来更多的可能性

关于互联网大厂的笔试面试，都是需要细心准备的
（1）自己的科研经历，科研内容，学习的相关领域知识，要熟悉熟透了
（2）自己的实习经历，做了什么内容，学习的领域知识，要熟悉熟透了
（3）除了科研，实习之外，平时自己关注的前沿知识，也不要落下，仔细了解，面试官很在乎你是否喜欢追进新科技，跟进创新概念和技术
（4）准备数据结构与算法，有笔试的大厂，第一关就是手撕代码做算法题
面试中，实际上，你准备数据结构与算法时以备不时之需，有足够的信心面对面试官可能问的算法题，很多情况下你的科研经历和实习经历足够跟面试官聊了，就不需要考你算法了。但很多大厂就会面试问你算法题，因此不论为了笔试面试，数据结构与算法必须熟悉熟透了
秋招提前批好多大厂不考笔试，直接面试，能否免笔试去面试，那就看你简历实力有多强了。

文章目录

复盘：什么是权重衰减？深度学习权重衰减
- @[TOC](文章目录)
什么是权重衰减？深度学习权重衰减
- 权重衰减等价于L2范数正则化(regularization)
- 总结:权重衰减L2正则化的作用
总结

什么是权重衰减？深度学习权重衰减

权重衰减等价于L2范数正则化(regularization)

正则化是通过模型损失函数添加惩罚项来使得训练后的模型参数值较小，是应对过拟合的常用方法。
从而得到训练所需最小的函数。

L2范数惩罚项是模型权重参数每个元素的平方和与一个正的常数的乘积。

最后的一个结果是，罚的引入，会将最优解拉向原点。

对于最优解的值，它的绝对值会变小，一旦绝对值变小，且把所有的最优解都向原点拉伸的话，
对于整个模型来讲，模型的复杂度就会降低。

总结:权重衰减L2正则化的作用

权重衰退通过L2正则项使得模型参数不会过大，也不会过小，从而控制模型的复杂度不会太复杂

总结

提示：重要经验：

1）权重衰退通过L2正则项使得模型参数不会过大，也不会过小，从而控制模型的复杂度不会太复杂
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。

复盘：什么是权重衰减?深度学习权重衰减相关推荐

深度学习——权重的初始值
权重的初始值 ①权重的初始值十分重要,关系到神经网络的学习是否成功. 可以将权重初始值设置为0吗为了抑制过拟合.提高泛化能力,采用权值衰减的方法,它是一种以减小权重参数的值为目的进行学习的方法. 在 ...
损失函数减肥用_神经网络调权重（深度学习入门系列之六）
原文链接更多深度文章,请关注云计算频道:https://yq.aliyun.com/cloud 系列文章: 一入侯门"深"似海,深度学习深几许(深度学习入门系列之一) 人工&qu ...
动手学深度学习——权重衰退及代码实现
一.权重衰退 1.权重衰退:是常用来处理过拟合的一种方法. 2.使用均方范数作为硬性限制通过限制参数值的选择范围来控制模型容量通常不限制偏移b(限制不限制都差不多). 小的意味着更强的正则项. 3 ...
[深度学习] 权重初始化--Weight Initialization
深度学习中的weight initialization对模型收敛速度和模型质量有重要影响! 在ReLU activation function中推荐使用Xavier Initialization的变种 ...
1.11 神经网络的权重初始化-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 1.10 梯度消失与梯度爆炸回到目录 1.12 梯度的数值逼近神经网络的权重初始化 (Weight Initialization for Deep Networks) 上 ...
2.9 学习率衰减-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.8 Adam 优化算法回到目录 2.10 局部最优的问题学习率衰减 (Learning Rate Decay) 加快学习算法的一个办法就是随时间慢慢减少学习率,我们将 ...
深度学习——学习率衰减(learning rate decay)
学习率衰减(learning rate decay) 为了防止学习率过大,在收敛到全局最优点的时候会来回摆荡,所以要让学习率随着训练轮数不断按指数级下降,收敛梯度下降的学习步长. 学习率衰减可以用以下 ...
深度学习入门笔记（十一）：权重初始化
欢迎关注WX公众号:[程序员管小亮] 专栏--深度学习入门笔记声明 1)该文章整理自网上的大牛和机器学习专家无私奉献的资料,具体引用的资料请看参考文献. 2)本文仅供学术交流,非商用.所以每一部分具 ...
深度学习入门笔记（十）：正则化
欢迎关注WX公众号:[程序员管小亮] 专栏--深度学习入门笔记声明 1)该文章整理自网上的大牛和机器学习专家无私奉献的资料,具体引用的资料请看参考文献. 2)本文仅供学术交流,非商用.所以每一部分具 ...
深度学习入门笔记（七）：深层神经网络
欢迎关注WX公众号:[程序员管小亮] 专栏--深度学习入门笔记声明 1)该文章整理自网上的大牛和机器学习专家无私奉献的资料,具体引用的资料请看参考文献. 2)本文仅供学术交流,非商用.所以每一部分具 ...

最新文章

热门文章