读论文-NN landscape

深度线性神经网络：每个local-min就是global-min

文献：

[6] P. Baldi and K. Hornik, “Neural networks and principal component analysis:
Learning from examples without local minima,” Neural Netw., vol. 2, no. 1, pp.
53–58, 1989. doi: 10.1016/0893-6080(89)90014-2.

[24] K. Kawaguchi, “Deep learning without poor local minima,” in Proc. Advances
Neural Information Processing Systems, 2016, pp. 586–594.

[44] C. Yun, S. Sra, and A. Jadbabaie, “Global optimality conditions for deep neural
networks,” in Proc. Int. Conf. Learning Representations, 2018.

global-min
local-min		B是开集，
strict local-min		B是开集，any other θ∈B，
saddle point		neither a local-min or local-max

Overparameterized network（wide network）

结论：对于非线性的过度参数化的神经网络，在一定假设条件下可以存在一个次优local-min.

任意宽度网络存在次优local-min：对于一大类平滑激活函数，任意宽和深度的网络，具有维度的通用输入数据 xi，存在输出数据 yi，因此存在次优局部最小值。

a spurious valley:一个不包含global-min的sublevel set {θ:F(θ)≤c} 的连通分量。

setwise strict local mininum:一个紧致集（闭区间，有穷）X∈B 是一个函数f:S➡R 的strict local-min，存在 $\varepsilon$ >0,对于all x∈X和all y∈S\X,满足 $\left \| x-y \right \|^{}\leqslant \varepsilon$ ,保持f(x)<f(y).

a suboptimal basin:函数f:S➡R是不包含global-min的setwise strict local mininum.

不存在bad valleys：

虚假谷的不存在保证了次优严格局部最小值的不存在。尽管可能仍然存在次优非严格局部最小值，但不存在虚假谷确保了，从这些次优局部最小值中的任何一个开始，存在一条非递减路径（不一定是严格递减路径）到具有较小损失的区域。

不存在bad basins:

在'不存在bad valleys'一节中限制了激活函数严格增加，本小节分析了具有任何连续激活的深度、过度参数化的神经网络。

对于任意深度的全连接神经网络满足以下假设：

① $\exists k$ ,对于 $\forall i\neq j,\left ( x_{i} \right )_{k}\neq \left ( x_{j} \right )_{k}$ . $\left ( x_{j} \right )_{k}$ 表示kth entry of $x_{j}$

②最后一层隐藏神经神经元数目≥样本数目：

③每层激活函数是连续的。

假设损失函数l(a, b)相对于b是凸的。该F(θ)没有次优盆地。

读论文-NN landscape相关推荐

我的读论文经验总结！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:胡来,Datawhale成员从入门到精通一个领域,绕不开文献阅读 ...
记录理解程度、一篇至少读3遍，吴恩达建议这样读论文！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale推荐作者:Richmond Alake,来源:机器之心在科研领域中,读论文 ...
沈向洋：读论文的三个层次
Datawhale干货来源:AI科技评论,沈向洋博士作者 | 蒋宝尚编辑 | 丛末 5月14日,沈向洋博士在全球创新学院(GIX)课程上曾做了一场线上公开课<You are how ...
如何高效读论文？剑桥CS教授亲授“三遍论”：论文最多读三遍，有的放矢，步步深入...
鱼羊编译整理量子位报道 | 公众号 QbitAI 嗑盐之始,在于读论文. 一方面,把握最前沿的研究动态,激发自身研究灵感.另一方面,不做好文献调研,自己的绝妙想法变成了重复造轮子,这种体验可不太 ...
读论文七步走！CV老司机万字长文：一篇论文需要读4遍
视学算法报道编辑:LRS [新智元导读]读论文对于AI新手和工程师来说可能是一件比较难的事.最近一位从业超5年的CV老司机发布了一篇万字长文,讲述了读论文七步法,从找论文到总结,每篇论文由浅 ...
覆盖近2亿篇论文还免费！沈向洋旗下团队「读论文神器」登B站热搜
视学算法报道编辑:小咸鱼好困 [新智元导读]无意中发现B站上有个叫ReadPaper的在线论文阅读笔记神器冲上了热榜!ReadPaper由沈向洋博士创办的IDEA旗下团队研发,其收录了近2 ...
记录理解程度、一篇至少读3遍，吴恩达建议这样读论文
选自Medium 作者:Richmond Alake 机器之心编译参与:杜伟.小舟.魔王在科研领域中,读论文大概是大家的日常基本操作了.但如何读论文,才能实现效率最大化呢?斯坦福大学教授吴恩达在斯 ...
吴恩达教你如何读论文：绘制进度表格，论文至少看三遍，还要问自己问题
来源:量子位本文约1478字,建议阅读4分钟. 本文介绍如何研究一篇论文. 吴恩达教你如何读论文,高效了解新领域. 就算是博士,也很难对所有的关键技术都参透了解.那么如何有效了解一个新领域,是研究者 ...
吴恩达教你读论文：持续而缓慢的学习，才是正道
来源:AI科技评论本文约1800字,建议阅读5分钟. 本文将教你如何有效阅读论文,包括系统阅读论文集的方法,以及阅读单篇论文的方法. 在人工智能和机器学习领域中,了解前沿学者的最新研究的能力是每位严 ...

读论文-NN landscape

读论文-NN landscape相关推荐

最新文章

热门文章