[原创] 对于深度学习(deep learning)在工业界的应用现状和突破 [by matthewbai]

现状：

1. 目前大家对于大部分需求，通常采用multiple layer，units in each layer也是人工订好的（虽然可以做稀疏，但是在same layer范围内竞争）。

2. 网络结构(或connection paradigm)常用的有3种：

　　　　DNN(或DBN)中full connection，各个weight独立看待；

　　　　CNN中part connection（translation or scale）in same convolution,weight有group的概念，同group的"共生"（常采用equality）；

　　　　RNN中有了context的概念，从而在connection中增加了context内的依赖(temporal/spacial)。

3. feature learn from raw data layer by layer，but prior knowledge in raw data is NOT fully concerned.我们更期望学到是的联合概率而不是后验概率。

4.uncertainty quantification的问题解决，这个事关risk(variance)。

只从技术上谈突破（个人理解，有可能有误，请大牛们指正）如下：

a. BP很可能不是唯一的“彩蛋”。细节不便说，可以提一个，如果我到google/facebook搞，首先从layered graph model开始（形成inference network or inference graph）,采用bayesian network中的因果推断关系和markov network中的互为因果关系。

b. 网络结构方面消除layer间的隔阂的shrink或dropout。常有人说train到某个epoch后貌似提升不动，甚至反而变坏了，除了units size和learning rate调整解决外，可以考虑此思路。此外，更重要的是，不用拘束在第2点说到的connection paradigm，完全可以根据自己的业务（例如广告CTR）和数据特征特点，建立suitable connection。我和朋友研究下针对语音识别和广告CTR的特有网络形式。

c. prior knowledge的获取有3个思路：auto-encoder，manifold learning，structure constraints的表征。尤其是第三个，怎么把structure constraints有效的和network(or graph)的connection形式建立关系是个很好的思路。

d. quantification问题或者说upper bound问题是个“永恒”的话题。因为有些应用特别关注这些，比如互联网金融中对variance的risk evaluation。但改进还是有的，思路之一是逐层量化或逐图量化+适当约束优化。但不建议为了quantify而限制整个模型学习的activeness，从而得不偿失。

转载于:https://www.cnblogs.com/matthewbai/p/4182170.html

[原创] 对于深度学习(deep learning)在工业界的应用现状和突破 [by matthewbai]相关推荐

机器学习(Machine Learning)深度学习(Deep Learning)资料汇总
本文来源:https://github.com/ty4z2008/Qix/blob/master/dl.md 机器学习(Machine Learning)&深度学习(Deep Learning ...
机器学习(Machine Learning)深度学习(Deep Learning)资料【转】
转自:机器学习(Machine Learning)&深度学习(Deep Learning)资料 <Brief History of Machine Learning> 介绍:这是一 ...
机器学习(Machine Learning)深度学习(Deep Learning)资料集合
机器学习(Machine Learning)&深度学习(Deep Learning)资料原文链接:https://github.com/ty4z2008/Qix/blob/master/dl ...
机器学习（Machine Learning）——深度学习(Deep Learning)
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/abcjennifer/article/ ...
[深度学习]DEEP LEARNING（深度学习）学习笔记整理
转载于博客http://blog.csdn.net/zouxy09 一.概述 Artificial Intelligence,也就是人工智能,就像长生不老和星际漫游一样,是人类最美好的梦想之中的一个. ...
机器学习 Machine Learning 深度学习 Deep Learning 资料
机器学习(Machine Learning)&深度学习(Deep Learning)资料機器學習.深度學習方面不錯的資料,轉載. 原作:https://github.com/ty4z2008 ...
大量机器学习(Machine Learning)深度学习(Deep Learning)资料
机器学习目前比较热,网上也散落着很多相关的公开课和学习资源,这里基于课程图谱的机器学习公开课标签做一个汇总整理,便于大家参考对比. 1.Coursera上斯坦福大学Andrew Ng教授的" ...
机器学习(Machine Learning)amp;深度学习(Deep Learning)资料
机器学习(Machine Learning)&深度学习(Deep Learning)资料機器學習.深度學習方面不錯的資料,轉載. 原作:https://github.com/ty4z2008 ...
（转）机器学习(Machine Learning)深度学习(Deep Learning)资料
原文链接:https://github.com/ty4z2008/Qix/blob/master/dl.md 机器学习(Machine Learning)&深度学习(Deep Learning ...
机器学习——深度学习(Deep Learning)
Deep Learning是机器学习中一个非常接近AI的领域,其动机在于建立.模拟人脑进行分析学习的神经网络,近期研究了机器学习中一些深度学习的相关知识,本文给出一些非常实用的资料和心得. Key W ...

[原创] 对于深度学习(deep learning)在工业界的应用现状和突破 [by matthewbai]

[原创] 对于深度学习(deep learning)在工业界的应用现状和突破 [by matthewbai]相关推荐

最新文章

热门文章