台大李宏毅Machine Learning 2017Fall学习笔记 (12)Why Deep?

本博客整理自：
http://blog.csdn.net/xzy_thu/article/details/69808817
在比较浅层网络与深层网络时，要让“矮胖”的网络和“高瘦”的网络的参数数目相等，这样比较才公平。
即便是在深层网络参数较少的情况下，深层网络也会比浅层网络表现好。
这是因为“深层”其实相当于“模组化”，第一个隐层是最基本的分类器，第二个隐层是用第一个隐层建造的分类器，以此类推。




浅层网络确实可以表示任意函数，但是使用深层结构更有效率。
好比逻辑门电路，用两层逻辑门就可以实现任何布尔函数，但是用多层结构更简单、需要的逻辑门更少。
神经网络也是如此，单隐层网络可以表示任何连续函数，但是多层结构表示起来更简单、需要的神经元更少，所以比较不容易overfitting，或只需较少的data。
而且，深层结构可以比较有效率地使用data。



1层hidden layer与3层hidden layer（相同数目的参数），3层的效果更好。
但理论上，3层可达到的效果，1层也能达到：要在1层learn的时候，target从真实label改为3层的output，这样1层的结果会接近3层的结果。
在语音识别、图像识别和更复杂的任务上，更“深”的网络结构更容易取得好的结果。

台大李宏毅Machine Learning 2017Fall学习笔记 (12)Why Deep?相关推荐

  1. 台大李宏毅Machine Learning 2017Fall学习笔记 (16)Unsupervised Learning:Neighbor Embedding

    台大李宏毅Machine Learning 2017Fall学习笔记 (16)Unsupervised Learning:Neighbor Embedding

  2. 台大李宏毅Machine Learning 2017Fall学习笔记 (14)Unsupervised Learning:Linear Dimension Reduction

    台大李宏毅Machine Learning 2017Fall学习笔记 (14)Unsupervised Learning:Linear Dimension Reduction 本博客整理自: http ...

  3. 台大李宏毅Machine Learning 2017Fall学习笔记 (13)Semi-supervised Learning

    台大李宏毅Machine Learning 2017Fall学习笔记 (13)Semi-supervised Learning 本博客参考整理自: http://blog.csdn.net/xzy_t ...

  4. 台大李宏毅Machine Learning 2017Fall学习笔记 (11)Convolutional Neural Network

    台大李宏毅Machine Learning 2017Fall学习笔记 (11)Convolutional Neural Network 本博客主要整理自: http://blog.csdn.net/x ...

  5. 台大李宏毅Machine Learning 2017Fall学习笔记 (10)Tips for Deep Learning

    台大李宏毅Machine Learning 2017Fall学习笔记 (10)Tips for Deep Learning 注:本博客主要参照 http://blog.csdn.net/xzy_thu ...

  6. 台大李宏毅Machine Learning 2017Fall学习笔记 (9)Keras

    台大李宏毅Machine Learning 2017Fall学习笔记 (9)Keras 本节课主要讲述了如何利用Keras搭建深度学习模型.Keras是基于TensorFlow封装的上层API,看上去 ...

  7. 台大李宏毅Machine Learning 2017Fall学习笔记 (8)Backpropagation

    台大李宏毅Machine Learning 2017Fall学习笔记 (8)Backpropagation 当网络结构很复杂时,会有大量的参数.∇L(θ)\nabla L(\theta)是百万维的向量 ...

  8. 台大李宏毅Machine Learning 2017Fall学习笔记 (7)Introduction of Deep Learning

    台大李宏毅Machine Learning 2017Fall学习笔记 (7)Introduction of Deep Learning 最近几年,deep learning发展的越来越快,其应用也越来 ...

  9. 台大李宏毅Machine Learning 2017Fall学习笔记 (6)Logistic Regression

    台大李宏毅Machine Learning 2017Fall学习笔记 (6)Logistic Regression 做Logistic Regression回归,需要3步. Step 1: Funct ...

最新文章

  1. 打印包含在 boost::exception 中的所有数据的测试程序
  2. 怎么将arcgis新建工具条如何保存_ArcGIS中寻找最短路径的方法
  3. php动态渲染和静态渲染,php，vue，vue-ssr 做出来的页面有什么区别？
  4. 改2003远程端口3389的方法！
  5. linux重启mysql的命令行_LINUX重启MYSQL的命令
  6. Exchange2010部署 配置证书
  7. redistemplate 设置永不过期_解决密码已过期，拒绝访问问题
  8. 基于winrm实现远程操作win
  9. php日期函数实际应用,日期函数如何在PHP中使用
  10. Android 显示软键盘输入法和强制隐藏软键盘输入法
  11. 【HDU 5755】Gambler Bo（高斯消元）
  12. 翡翠手链的形成来源于古人对于图腾的崇拜
  13. Windows 软件定义存储S2D 测试
  14. SU插件情报局 | Laubwerk智能代理植物插件（附插件获取）
  15. ESP8266制作物联网万能遥控器
  16. sql server数据库练习
  17. java中时区的时令问题
  18. Android【Socket通讯】
  19. 微信小程序授权_微信小程序授权验证码什么意思
  20. Python 两种csv文件的写入方式

热门文章

  1. PAD-Net: Multi-Tasks Guided Prediction-and-Distillation Network for Simultaneous Depth Estimation an
  2. xp计算机重启记录,XP电脑关机后自动重启的解决方法
  3. 鸿蒙能不能彻底摆脱安卓,原本鸿蒙并不能取代安卓系统，鸿蒙系统究竟是什么？...
  4. java 导出表格打包zip文件下载_asyExcel导出excel并打包成zip压缩包下载
  5. tomcat和idea都占用了8080_详解IDEA 启动tomcat 端口占用原因以及解决方法（ 使用debug模式）...
  6. python string转int_Python编程入门：time模块常用技巧
  7. MFC UpdateData
  8. java有几大对象_一个 Java 对象到底有多大？
  9. 笔记本电脑性价比排行2019_笔记本电脑性价比排行2020榜单介绍
  10. 检测多边形是否重叠_只要保留定位感知通道，目标检测模型也能剪枝70%参数