李宏毅机器学习课程11~~~为何要深？

为何要“深”？
pluskid的博客 Deep Learning and Shallow Learning

Bengio Y. Learning deep architectures for AI. Foundations and trends® in Machine Learning, 2009

Deeper is Better?

模型有更多的参数会有更好的结果，这是毋庸置疑的。

深瘦的模型会比浅胖的模型有更好的表达能力。

Universality Theorem

虽然理论上单层网络可以表达任意的函数，但是实际上更深的结构在表达函数的能力更出色。

细节见 A visual proof that neural nets can compute any function

Do Deep Nets Really Need To Be Deep? (by Rich Caruana)

更多细节见 Rich Caruana

“Do Deep Nets Really Need to be Deep?”阅读笔记

参考文献

Home: http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html

A visual proof that neural nets can compute any function

Rich Caruana
Deep Learning: Theoretical Motivations (Yoshua Bengio)
Connections between physics and deep learning

Why Deep Learning Works: Perspectives from Theoretical
Chemistry

李宏毅机器学习课程11~~~为何要深？相关推荐

李宏毅机器学习课程---2、Regression - Case Study
李宏毅机器学习课程---2.Regression - Case Study 一.总结一句话总结: 分类讨论可能是比较好的找最佳函数的方法:如果有这样的因素存在的话模型不够好,可能是因素没有找全 ...
台大李宏毅机器学习课程
[机器学习入门] 台大李宏毅机器学习课程,转载来自:https://blog.csdn.net/soulmeetliang/article/details/77461607 TOPIC CONTENT ...
李宏毅机器学习课程－Transfer Learning
深度学习 -> 强化学习 ->迁移学习(杨强教授报告) 李宏毅机器学习课程-Transfer Learning 迁移学习-吴恩达 freeze 待处理的理解深层神经网络中的迁移学习及Te ...
李宏毅机器学习课程12~~~半监督学习
Semi-supervised Learning The distribution of the unlabeled data tell us something. Usually with some ...
李宏毅机器学习课程４~~~分类：概率生成模型
分类问题用回归来解决? 当有右图所示的点时,这些点会大幅改变分类线的位置.这时候就会导致整体的回归结果变差.当把多分类当成回归问题,类别分别为1,2,3,4--,因为回归的问题是预测具体的值,这样定义 ...
李宏毅机器学习课程自测练习题
暂停更新 Last Modified 2022.1.7 Fri 22:27 目录(计划包含以下内容): 简介线性分类与感知机数学基础卷积神经网络循环神经网络自注意力机制 Transforme ...
李宏毅机器学习课程10~~~卷积神经网络
卷积的意义数字图像是一个二维的离散信号,对数字图像做卷积操作其实就是利用卷积核(卷积模板)在图像上滑动,将图像点上的像素灰度值与对应的卷积核上的数值相乘,然后将所有相乘后的值相加作为卷积核中间像素对 ...
李宏毅机器学习课程1~~~Introduction Regression
机器学习介绍机器学习就是要找一个函数. 机器学习的三大要素框架:训练集,函数集(模型集),损失函数集. 机器学习图谱 AI训练师的成长之路. 1. 梯度下降法的理解Gradient Descent ...
【李宏毅机器学习课程笔记】深度强化学习（五）—— Sparse Reward
文章目录 Introduction Reward Shaping Curiosity Curriculum Learning Hierarchical Reinforcement Learning I ...

李宏毅机器学习课程11~~~为何要深？

李宏毅机器学习课程11~~~为何要深？相关推荐

最新文章

热门文章