我爱机器学习机器学习干货站- 资源

我爱机器学习 机器学习干货站
跳至正文
机器学习
Deep Learning
所有主题
关注我们
DeepMind团队的《Deep Reinforcement Learning in Large Discrete Action Spaces》
发表于2016年4月7日由smallroof
Paper: Deep Reinforcement Learning in Large Discrete Action Spaces
Authors: G Dulac-Arnold, R Evans, H v Hasselt, P Sunehag, T Lillicrap, J Hunt, T Mann, T Weber, T Degris, B Coppin
Link：http://arxiv.org/abs/1512.07679前阵刚炒作过AlphaGo的DeepMind本月4号更新了《Deep Reinforcement Learning in Large Discrete Action Spaces》第二版，看起来真的将RL用在推荐系统了。不过看起来文章的最大创新只是引入了action embedding，具体如何做embedding的并未展开，估计是离不开word2vec的。文章提出了如图所示的Wolpertinger Policy网络，然后用Deep Deterministic Policy Gradient (DDPG)进行训练。最后的实验没看到大的突破，目前还是花招，期待未来更大的突破。rl发表在 Deep Learning, 机器学习   | 留下评论
机器学习（Machine Learning）大家与资源
发表于2015年4月7日由smallroof
=======================国外====================Machine Learning 大家(1)：M. I. Jordan (http://www.cs.berkeley.edu/~jordan/)
在我的眼里，M Jordan无疑是武林中的泰山北斗。他师出MIT，现在在berkeley坐镇一方，在附近的两所名校（加stanford）中都可以说无出其右者，stanford的Daphne Koller虽然也声名遐迩，但是和Jordan比还是有一段距离。Jordan身兼stat和cs两个系的教授，从他身上可以看出Stat和ML的融合。  Jordan最先专注于mixtures of experts，并迅速奠定了自己的地位，我们哈尔滨工业大学的校友徐雷跟他做博后期间，也在这个方向上沾光不少。Jordan和他的弟子在很多方面作出了开创性的成果，如spectral clustering， Graphical model和nonparametric Bayesian。现在后两者在ML领域是非常炙手可热的两个方向，可以说很大程度上是Jordan的lab一手推动的。更难能可贵的是，Jordan不仅自己武艺高强，并且揽钱有法，教育有方，手下门徒众多且很多人成了大器，隐然成为江湖大帮派。他的弟子中有10多人任教授，个人认为他现在的弟子中最出色的是stanford的Andrew Ng，不过由于资历原因，现在还是assistant professor，不过成为大教授指日可待；另外Tommi Jaakkola和David Blei也非常厉害，其中Tommi Jaakkola在mit任教，David Blei之前在普林斯顿任副教授，最近刚刚(2014年4月初)被哥伦比亚大学花了三年时间挖走了，数次获得NIPS最佳论文奖，把SVM的最大间隔方法和Markov network的structure结构结合起来，赫赫有名。2012年获得科学家总统奖，2014年初获得2013 ACM-Infosys CS Award。还有一个博后是来自于toronto的Yee Whye Teh，非常不错，有幸跟他打过几次交道，人非常nice。另外还有一个博后居然在做生物信息方面的东西，看来jordan在这方面也捞了钱。这方面他有一个中国学生Eric P. Xing(清华大学校友)，现在在cmu做assistant professor。总的说来，我觉得Jordan现在做的主要还是graphical model和Bayesian learning，他去年写了一本关于graphical model的书，今年由mit press出版，应该是这个领域里程碑式的著作。3月份曾经有人答应给我一本打印本看看，因为Jordan不让他传播电子版，但后来好像没放在心上（可见美国人也不是很守信的），人不熟我也不好意思问着要，可以说是一大遗憾. 另外发现一个有趣的现象就是Jordan对hierarchical情有独钟，相当多的文章都是关于hierarchical的，所以能hierarchical大家赶快hierarchical，否则就让他给抢了。用我朋友话说看jordan牛不牛，看他主页下面的Past students and postdocs就知道了。Machine Learning大家（2）：D. Koller (http://ai.stanford.edu/~koller/)D. Koller是1999年美国青年科学家总统奖(PECASE)得主，IJCAI 2001 Computers and　Thought Award(IJCAI计算机与思维奖，这是国际人工智能界35岁以下青年学者的最高奖)得主，2004 World Technology Award得主。最先知道D koller是因为她得了一个大奖，2001年IJCAI计算机与思维奖。Koller因她在概率推理的理论和实践、机器学习、计算博弈论等领域的重要贡献，成为继Terry Winograd、David Marr、Tom Mitchell、Rodney Brooks等人之后的第18位获奖者。说起这个奖挺有意思的，IJCAI终身成就奖（IJCAI Award for Research Excellence），是国际人工智能界
的最高荣誉; IJCAI计算机与思维奖是国际人工智能界35岁以下青年学者的最高荣誉。早期AI研究将推理置于至高无上的地位; 但是1991年牛人Rodney Brooks对推理全面否定，指出机器只能独立学习而得到了IJCAI计算机与思维奖; 但是koller却因提出了Probabilistic Relational Models 而证明机器可以推理论知而又得到了这个奖，可见世事无绝对，科学有回。D koller的Probabilistic Relational Models在nips和icml等各种牛会上活跃了相当长的一段时间，并且至少在实验室里证明了它在信息搜索上的价值，这也导致了她的很多学生进入了google。虽然进入google可能没有在牛校当faculty名声响亮，但要知道google的很多员工现在可都是百万富翁，在全美大肆买房买车的主。Koller的研究主要都集中在probabilistic graphical model，如Bayesian网络，但这玩意我没有接触过，我只看过几篇他们的markov network的文章，但看了也就看了，一点想法都没有，这滩水有点深，不是我这种非科班出身的能趟的，并且感觉难以应用到我现在这个领域中。Koller才从教10年，所以学生还没有涌现出太多的牛人，这也是她不能跟Jordan比拟的地方，并且由于在stanford的关系，很多学生直接去硅谷赚大钱去了，而没有在学术界开江湖大帮派的影响，但在stanford这可能太难以办到，因为金钱的诱惑实在太大了。不过Koller的一个学生我非常崇拜，叫Ben Taskar，就是我在（1）中所提到的Jordan的博后，是好几个牛会的最佳论文奖，他把SVM的最大间隔方法和Markov network结合起来，可以说是对structure data处理的一种标准工具，也把最大间隔方法带入了一个新的热潮，近几年很多牛会都有这样的workshop。 我最开始上Ben Taskar的在stanford的个人网页时，正赶上他刚毕业，他的顶上有这么一句话：流言变成了现实，我终于毕业了！ 可见Koller是很变态的，把自己的学生关得这么郁闷，这恐怕也是大多数女faculty的通病吧，并且估计还非常的push！2013年去世的牛人UW的Ben Taskar就是Koller的学生。另外Koller和NG合办了Coursera。Machine learning 大家（3）: J. D. Lafferty大家都知道NIPS和ICML向来都是由大大小小的山头所割据，而John Lafferty无疑是里面相当高的一座高山，这一点可从他的publication list里的NIPS和ICML数目得到明证。虽然江湖传说计算机重镇CMU现在在走向衰落，但这无碍Lafferty拥有越来越大的影响力，翻开AI兵器谱排名第一的journal of machine learning research的很多文章，我们都能发现author或者editor中赫然有Lafferty的名字。Lafferty给人留下的最大的印象似乎是他2001年的conditional random fields，这篇文章后来被疯狂引用，广泛地应用在语言和图像处理，并随之出现了很多的变体，如Kumar的discriminative random fields等。虽然大家都知道discriminative learning好，但很久没有找到好的discriminative方法去处理这些具有丰富的contextual inxxxxation的数据，直到Lafferty的出现。而现在Lafferty做的东西好像很杂，semi－supervised learning， kernel learning，graphical models甚至manifold learning都有涉及，可能就是像武侠里一样只要学会了九阳神功，那么其它的武功就可以一窥而知其精髓了。这里面我最喜欢的是semi－supervised learning，因为随着要处理的数据越来越多，进行全部label过于困难，而完全unsupervised的方法又让人不太放心，在这种情况下semi－supervised learning就成了最好的。这没有一个比较清晰的认识，不过这也给了江湖后辈成名的可乘之机。到现在为止，我觉得cmu的semi－supervised是做得最好的，以前是KAMAL NIGAM做了开创性的工作，而现在Lafferty和他的弟子作出了很多总结和创新。Lafferty的弟子好像不是很多，并且好像都不是很有名。不过今年毕业了一个中国人，Xiaojin Zhu(上海交通大学校友)，就是做semi－supervised的那个人，现在在wisconsin-madison做assistant professor。他做了迄今为止最全面的Semi-supervised learning literature survey， 大家可以从他的个人主页中找到。这人看着很憨厚，估计是很好的陶瓷
对象。另外我在（1）中所说的Jordan的牛弟子D Blei今年也投奔Lafferty做博后，就足见Lafferty的牛了。Lafferty做NLP是很好的，著名的Link Grammar Parser还有很多别的应用。其中language model在IR中应用，这方面他的另一个中国学生ChengXiang Zhai(南京大学校友，2004年美国青年科学家总统奖(PECASE)得主)，现在在uiuc做assistant professor。Machine learning 大家（4): Peter L. Bartlett鄙人浅薄之见，Jordan比起同在berkeley的Peter Bartlett还是要差一个层次。Bartlett主要的成就都是在learning theory方面，也就是ML最本质的东西。他的几篇开创性理论分析的论文，当然还有他的书Neural Network Learning: Theoretical Foundations。UC Berkeley的统计系在强手如林的北美高校中一直是top3， 这就足以证明其肯定是群星荟萃，而其中，Peter L. Bartlett是相当亮的一颗星。关于他的研究，我想可以从他的一本书里得到答案：Neural Network Learning: Theoretical Foundations。也就是说，他主要做的是Theoretical Foundations。基础理论虽然没有一些直接可面向应用的算法那样
引人注目，但对科学的发展实际上起着更大的作用。试想vapnik要不是在VC维的理论上辛苦了这么多年，怎么可能有SVM的问世。不过阳春白雪固是高雅，但大多数人只能听懂下里巴人，所以Bartlett的文章大多只能在做理论的那个圈子里产生影响，而不能为大多数人所广泛引用。Bartlett在最近两年做了大量的Large margin classifiers方面的工作，如其convergence rate和generalization bound等。并且很多是与jordan合作，足见两人的工作有很多相通之处。不过我发现Bartlett的大多数文章都是自己为第一作者，估计是在教育上存在问题吧，没带出特别牛的学生出来。Bartlett的个人主页的talk里有很多值得一看的slides,如Large Margin Classifiers:Convexity and Classification；Large Margin Methods for Structured Classification: Exponentiated Gradient Algorithms。大家有兴趣的话可以去下来看看。Machine learning 大家（5):   Michael CollinsMichael Collins (http://people.csail.mit.edu/mcollins/
自然语言处理(NLP)江湖的第一高人。出身Upenn，靠一身叫做Collins Parser的武功在江湖上展露头脚。当然除了资质好之外，其出身也帮了不少忙。早年一个叫做Mitchell P. Marcus的师傅传授了他一本葵花宝典-Penn Treebank。从此，Collins整日沉迷于此，终于练成盖世神功。学成之后，Collins告别师傅开始闯荡江湖，投入了一个叫AT&T Labs Research的帮会，并有幸结识了Robert Schapire、Yoram Singer等众多高手。大家不要小瞧这个叫AT&T Labs Research的帮会，如果谁没有听过它的大名总该知道它的同父异母的兄弟Bell Labs吧。  言归正传，话说Collins在这里度过了3年快乐的时光。其间也奠定了其NLP江湖老大的地位。并且练就了Discriminative Reranking， Convolution Kernels，Discriminative Training Methods for Hidden Markov Models等多种绝技。然而，世事难料，怎奈由于帮会经营不善，这帮大牛又不会为帮会拼杀，终于被一脚踢开，大家如鸟兽散了。Schapire去了Princeton， Singer 也回老家以色列了。Collins来到了MIT，成为了武林第一大帮的六袋
长老，并教授一门叫做Machine Learning Approaches for NLP (http://www.ai.mit.edu/courses/6.891-nlp/) 的功夫。虽然这一地位与其功力极不相符，但是这并没有打消Collins的积极性，通过其刻苦打拼，终于得到了一个叫Sloan Research Fellow的头衔，并于今年7月，光荣的升任7袋Associate Professor。在其下山短短7年时间内，Collins共获得了4次世界级武道大会冠军(EMNLP2002, 2004,UAI2004, 2005)。相信年轻的他，总有一天会一统丐帮，甚至整个江湖。看过Collins和别人合作的一篇文章，用conditional random fields 做object recogn
tion。还这么年轻，admire to death！=======================国内====================之前自己一直想总结一下国内搞机器学习和数据挖掘的大牛，但是自己太懒了。所以没搞…最近看到了下面转载的这篇博文，感觉总结的比较全面了。个人认为，但从整体研究实力来说，机器学习和数据挖掘方向国内最强的地方还是在MSRA，那边的相关研究小组太多，很多方向都能和数据挖掘扯上边。这里我再补充几个相关研究方向的年轻老师和学者吧。蔡登：http://www.cad.zju.edu.cn/home/dengcai/,Han Jiawei老师的学生，博士毕业后回浙大任教，也算是国内年轻一代的牛人了。万小军：https://sites.google.com/site/wanxiaojun1979/，得翻墙才能看到主页。主要研究方向是文本挖掘和语义计算。自然语言方向好会议发了很多文章。张磊：http://research.microsoft.com/en-us/um/people/leizhang/———————————————————————————————–原文地址：http://blog.csdn.net/playoffs/article/details/7588597李航：http://research.microsoft.com/en- us/people/hangli/，是MSRA Web Search andMining Group高级研究员和主管，主要研究领域是信息检索，自然语言处理和统计学习。近年来，主要与人合作使用机器学习方法对信息检索中排序，相关性等问题的 研究。曾在人大听过一场他的讲座，对实际应用的问题抽象，转化和解决能力值得学习。周志华：http://cs.nju.edu.cn/zhouzh/，是南京大学的杰青，机器学习和数据挖掘方面国内的领军人物，其好几个研究生都 进入了美国一流高校如uiuc，cmu等学习和深造。周教授在半监督学习，multi-label学习和集成学习方面在国际上有一定的影响力。另外，他也是ACML的创始人。人也很nice，曾经发邮件咨询过一个naive的问题，周老师还在百忙之中回复了我，并对我如何发邮件给了些许建议。杨强：http://www.cse.ust.hk/~qyang/，香港科技大学教 授，也是KDD 2012的会议主席，可见功力非同一般。杨教授是迁移学习的国际领军人物，曾经的中国第一位acm全球冠军上交的戴文渊硕士期间就是跟他合作发表了一系列 高水平的文章。还有，杨教授曾有一个关于机器学习和数据挖掘有意思的比喻：比如你训练一只狗，若干年后，如果它忽然有一天能帮你擦鞋洗衣服，那么这就是数 据挖掘；要是忽然有一天，你发现狗发装成一个老太婆消失了，那么这就是机器学习。李建中：http://db.hit.edu.cn/jianzhongli/，哈工大和黑大共有教授，是分布式数据库的领军人物。近年来，其团队 在不确定性数据，sensor network方面也发表了一系列有名文章。李教授为人师表，教书育人都做得了最好，在圈内是让人称道的好老师和好学者。唐杰：http://keg.cs.tsinghua.edu.cn/jietang/，清华大学副教授，是图挖掘方面的专家。他主持设计和实现的Arnetminer是国内领先的图挖掘系统，该系统也是多个会议的支持商。张钹：http://www.csai.tsinghua.edu.cn/personal_homepage/zhang_bo/index.html 清华大学教授，中科院院士，。现任清华大学信息技术研究院指导委员会主任，微软亚洲研究院技术顾问等。主要从事人工智能、神经网络、遗传算法、智能机器 人、模式识别以及智能控制等领域的研究工作。在过去二十多年中，张钹教授系统地提出了问题求解的商空间理
论。近年来，他建立了神经与认知计算研究中心以及多媒体信息处理研究组。该研究组已在图像和视频的分析与检索方面取得一些重要研究成果。刘铁岩：http://research.microsoft.com/en-us/people/tyliu/ MSRA研究主管，是learning to rank的国际知名学者。近年逐步转向管理，研究兴趣则开始关注计算广告学方面。王海峰：http://ir.hit.edu.cn/~wanghaifeng/ 信息检索，自然语言处理，机器翻译方面的专家，ACL的副主席，百度高级科学家。近年，在百度主持研发了百度翻译产品。何晓飞：http://people.cs.uchicago.edu/~xiaofei/ 浙江大学教授，多媒体处理，图像检索以及流型学习的国际领先学者。朱军：http://www.ml-thu.net/~jun/ 清华大学副教授，机器学习绝对重量级新星。主要研究领域是latent variable models, large-margin learning, Bayesian nonparametrics,and sparse learning in high dimensions. 他也是今年龙星计划的机器学习领域的主讲人之一。———————————————————————————————-吴军：http://www.cs.jhu.edu/~junwu/ 腾讯副总裁，前google研究员。著名《数学之美》和《浪潮之巅》系列的作者。张栋：http://weibo.com/machinelearning 前百度科学家和google研究员，机器学习工业界的代表人物之一。戴文渊：http://apex.sjtu.edu.cn/apex_wiki/Wenyuan_Dai 现百度凤巢ctr预估组leader。前ACM大赛冠军，硕士期间一系列transfer learning方面的高水平论文让人瞠目结舌。======================资源====================以前转过一个计算机视觉领域内的牛人简介，现在转一个更宽范围内的牛人简介：http://people.cs.uchicago.edu/~niyogi/http://www.cs.uchicago.edu/people/http://pages.cs.wisc.edu/~jerryzhu/http://www.kyb.tuebingen.mpg.de/~chapellehttp://people.cs.uchicago.edu/~xiaofei/http://www.cs.uiuc.edu/homes/dengcai2/http://www.kyb.mpg.de/~bshttp://research.microsoft.com/~denzho/http://www-users.cs.umn.edu/~kumar/dmbook/index.php#item5(resources for the book of the introduction of data mining by Pang-ning Tan et.al. )（国内已经有相应的中文版）http://www.cs.toronto.edu/~roweis/lle/publications.html    (lle算法源代码及其相关论文)http://dataclustering.cse.msu.edu/index.html#software（data clustering）http://www.cs.toronto.edu/~roweis/     (里面有好多资源)http://www.cse.msu.edu/~lawhiu/  (manifold learning)http://www.math.umn.edu/~wittman/mani/ (manifold learning demo in matlab)http://www.iipl.fudan.edu.cn/~zhangjp/literatures/MLF/INDEX.HTM  (manifold learning in matlab)http://videolectures.net/mlss05us_belkin_sslmm/   (semi supervised learning with manifold method by Belkin)http://isomap.stanford.edu/    (isomap主页)http://web.mit.edu/cocosci/josh.html  MIT    TENENBAUM J B主页http://web.engr.oregonstate.edu/~tgd/    （国际著名的人工智能专家 Thomas G. Dietterich）http://www.cs.berkeley.edu/~jordan/ （MIchael I.Jordan）http://www.cs.cmu.edu/~awm/  (Andrew W. Moore’s  homepage)http://learning.cs.toronto.edu/ （加拿大多伦多大学机器学习小组）http://www.cs.cmu.edu/~tom/ （Tom Mitchell，里面有与教材匹配的slide。）Kernel Methods
Alexander J. SmolaMaximum Mean Discrepancy (MMD), Hilbert-Schmidt Independence Criterion (HSIC)
Bernhard SchölkopfKernel PCAJames T KwokPre-Image, Kernel Learning, Core Vector Machine(CVM)Jieping YeKernel Learning, Linear Discriminate Analysis, Dimension DeductionMulti-Task Learning
Andreas ArgyriouMulti-Task Feature Learning
Charles A. MicchelliMulti-Task Feature Learning, Multi-Task Kernel LearningMassimiliano PontilMulti-Task Feature LearningYiming YingMulti-Task Feature Learning, Multi-Task Kernel LearningSemi-supervised Learning
Partha NiyogiManifold Regularization, Laplacian EigenmapsMikhail BelkinManifold Regularization, Laplacian EigenmapsVikas SindhwaniManifold RegularizationXiaojin ZhuGraph-based Semi-supervised LearningMultiple Instance Learning
Sally A GoldmanEM-DD, DD-SVM, Multiple Instance Semi Supervised Learning(MISS)
Dimensionality Reduction
Neil LawrenceGaussian Process Latent Variable Models (GPLVM)Lawrence K. SaulMaximum Variance Unfolding(MVU), Semidefinite Embedding(SDE)Machine Learning
Michael I. JordanGraphical Models
John LaffertyDiffusion Kernels, Graphical ModelsDaphne KollerLogic, ProbabilityZhang TongTheoretical Analysis of Statistical Algorithms, Multi-task Learning, Graph-based Semi-supervised LearningZoubin GhahramaniBayesian approaches to machine learningMachine Learning @ TorontoStatitiscal Machine Learning & Optimization
Jerome H FriedmanGLasso, Statistical view of AdaBoost, Greedy Function Approximation
Thevor HastieLassoStephen BoydConvex OptimizationC.J LinLibsvmhttp://www.dice.ucl.ac.be/mlg/半监督流形学习（流形正则化）http://manifold.cs.uchicago.edu/模式识别和神经网络工具箱http://www.ncrg.aston.ac.uk/netlab/index.php机器学习开源代码http://mloss.org/software/tags/large-scale-learning/统计学开源代码http://www.wessa.net/matlab各种工具箱链接http://www.tech.plym.ac.uk/spmc/links/matlab/matlab_toolbox.html统计学学习经典在线教材http://www.statistics4u.info/机器学习开源源代码http://mloss.org/software/language/matlab/======================会议====================我知道的几个人工智能会议(一流)
下面同分的按字母序排列:IJCAI (1+): AI最好的综合性会议, 1969年开始, 每两年开一次, 奇数年开. 因为AI 实在太大, 所以虽然每届基本上能录100多篇（现在已经到200多篇了），但分到每个领域就没几篇了，象machine learning、computer vision这么大的领域每次大概也就10篇左右, 所以难度很大. 不过从录用率上来看倒不太低,基本上20%左右, 因为内 行人都会掂掂分量, 没希望的就别浪费reviewer的时间了. 最近中国大陆投往国际会议的文章象潮水一样, 而且因为国内很少有能自己把关的研究组, 所以很多会议都在complain说中国的低质量文章严重妨碍了PC的工作效率. 在这种情况下, 估计这几年国际会议的录用率都会降下去. 另外, 以前的IJCAI是没有poster的, 03年开始, 为了减少被误杀的好人, 增加了2页纸的poster.值得一提的是, IJCAI是由貌似一个公司”IJCAI Inc.”主办的(当然实际上并不是公司, 实际上是个基金会), 每次会议上要 发几个奖, 其中最重要的两个是IJCAI Research Excellence Award 和 Computer& Thoughts Award, 前者是终身成就奖, 每次一个人, 基本上是AI的最高奖(有趣的是, 以AI为主业拿图灵奖的6位中, 有2位还没得到这个奖), 后者是奖给35岁以下的青年科学家, 每次一个人. 这两个奖的获奖演说是每次IJCAI的一个重头戏.另外，IJCAI 的 PC member 相当于其他会议的area chair, 权力很大, 因为是由PC member 去找 reviewer 来审, 而不象一般会议的PC member其实就是 reviewer. 为了制约这种权力, IJCAI的审稿程序是每篇文章分配2位PC member, primary PC member去找3位reviewer, second PC member 找一位.AAAI (1): 美国人工智能学会AAAI的年会. 是一个很好的会议, 但其档次不稳定, 可以给到1+, 也可以给到1-或者2+, 总的来说我给它”1″. 这是因为它的开法完全受IJCAI制约: 每年开, 但如果这一年的IJCAI在北美举行, 那么就停开. 所以, 偶数年里因为没有IJCAI, 它就是最好的AI综合性会议, 但因为号召力毕竟比IJCAI要小一些,特别是欧洲人捧AAAI场的比IJCAI少得多(其实亚洲人也是), 所以比IJCAI还是要稍弱一点, 基本上在1和1+之间; 在奇数年, 如果IJCAI不在北美, AAAI自然就变成了比IJCAI低一级的会议(1-或2+), 例如2005年既有IJCAI又有AAAI, 两个会议就进行了协调, 使得IJCAI的录用通知时间比AAAI的deadline早那么几天, 这样IJCAI落选的文章可以投往AAAI.在审稿时IJCAI 的 PC chair也在一直催, 说大家一定要快, 因为AAAI那边一直在担心IJCAI的录用通知出晚了AAAI就麻烦了.COLT (1): 这是计算学习理论最好的会议, ACM主办, 每年举行. 计算学习理论基本上可以看成理论计算机科学和机器学习的交叉, 所以这个会被一些人看成是理论计算机科学的会而不是AI的会. 我一个朋友用一句话对它进行了精彩的刻画: “一小群数学家在开会”. 因为COLT的领域比较小, 所以每年会议基本上都是那些人. 这里顺便提一件有趣的事, 因为最近国内搞的会议太多太滥, 而且很多会议都是LNCS/LNAI出论文集, LNCS/LNAI基本上已经被搞臭了, 但很不幸的是, LNCS/LNAI中有一些很好的会议, 例如COLT.
CVPR (1): 计算机视觉和模式识别方面最好的会议之一, IEEE主办, 每年举行. 虽然题目上有计算机视觉, 但个人认为它的模式识别味道更重一些. 事实上它应该是模式识别最好的会议, 而在计算机视觉方面, 还有ICCV与之相当. IEEE一直有个倾向, 要把会办成”盛会”, 历史上已经有些会被它从quality很好的会办成”盛会”了. CVPR搞不好也要走这条路. 这几年录的文章已经不少了. 最近负责CVPR会议的TC的chair发信说, 对这个community来说, 让好人被误杀比被坏人漏网更糟糕, 所以我们是不是要减少好人被误杀的机会啊? 所以我估计明年或者后年的CVPR就要扩招了.ICCV (1): 介绍CVPR的时候说过了, 计算机视觉方面最好的会之一. IEEE主办.  ICCV逢奇数年开，开会地点以往是北美，欧洲和亚洲轮流，本来2003年定在北京，后来因Sars和原定05年的法国换了一下。ICCV’07年将首次 在南美(巴西)举行.
CVPR原则上每年在北美开, 如果那年正好ICCV在北美,则该年没有CVPR.ICML (1): 机器学习方面最好的会议之一. 现在是IMLS主办, 每年举行. 参见关于NIPS的介绍.NIPS (1): 神经计算方面最好的会议之一, NIPS主办, 每年举行. 值得注意的是, 这个会每年的举办地都是一样的, 以前是美国丹佛, 现在是加拿大温哥华; 而且它是年底开会, 会开完后第2年才出论文集, 也就是说, NIPS’05的论文集是06年出. 会议的名字是”Advances in Neural Inxxxxation Processing Systems”, 所以, 与ICMLECML这样的”标准的”机器学习会议不同, NIPS里有相当一部分神经科学的内容, 和机器学习有一定的距离. 但由于会议的主体内容是机器学习, 或者说与机器学习关系紧密, 所以不少人把NIPS看成是机器学习方面最好的会议之一. 这个会议基本上控制在MichaelJordan的徒子徒孙手中, 所以对Jordan系的人来说, 发NIPS并不是难事, 一些未必很强的工作也能发上去, 但对这个圈子之外的人来说, 想发一篇实在很难, 因为留给”外人”的口子很小. 所以对Jordan系以外的人来说, 发NIPS的难度比ICML更大. 换句话说,ICML比较开放, 小圈子的影响不象NIPS那么大, 所以北美和欧洲人都认, 而NIPS则有些人(特别是一些欧洲人, 包括一些大家)坚决不投稿. 这对会议本身当然并不是好事,但因为Jordan系很强大, 所以它似乎也不太care. 最近IMLS(国际机器学习学会)改选理事, 有资格提名的人包括近三年在ICMLECMLCOLT发过文章的人, NIPS则被排除在外了. 无论如何, 这是一个非常好的会.ACL (1-): 计算语言学/自然语言处理方面最好的会议, ACL (Association ofComputational Linguistics) 主办, 每年开.KR (1-): 知识表示和推理方面最好的会议之一, 实际上也是传统AI(即基于逻辑的AI)最好的会议之一. KR Inc.主办, 现在是偶数年开.SIGIR (1-): 信息检索方面最好的会议, ACM主办, 每年开. 这个会现在小圈子气越来越重. 信息检索应该不算AI, 不过因为这里面用到机器学习越来越多, 最近几年甚至有点机器学习应用会议的味道了, 所以把它也列进来.SIGKDD (1-): 数据挖掘方面最好的会议, ACM主办, 每年开. 这个会议历史比较短,毕竟, 与其他领域相比,数据挖掘还只是个小弟弟甚至小侄儿. 在几年前还很难把它列在tier-1里面, 一方面是名声远不及其他的top conference响亮, 另一方面是相对容易被录用. 但现在它被列在tier-1应该是毫无疑问的事情了. 这几年来KDD的质量都很高. SIGKDD从2000年来full paper的录取率都在10%-12%之间，远远低于IJCAI和ICML.经常听人说，KDD要比IJICAI和ICML都要困难。IJICAI才6页，而KDD要10页。没有扎实系统的工作，很难不留下漏洞。有不少IJICAI的常客也每年都投KDD，可难得几个能经常中。UAI (1-): 名字叫”人工智能中的不确定性”, 涉及表示推理学习等很多方面, AUAI(Association of UAI) 主办, 每年开.我知道的几个人工智能会议(二三流)
(原创为lilybbs.us上的daniel)纯属个人看法, 仅供参考. tier-1的列得较全, tier-2的不太全, tier-3的很不全.
同分的按字母序排列. 不很严谨地说, tier-1是可以令人羡慕的, tier-2是可以令人尊敬的,由于AI的相关会议非常多, 所以能列进tier-3的也是不错的.tier 2: tier-2的会议列得不全, 我熟悉的领域比较全一些.AAMAS (2+): agent方面最好的会议. 但是现在agent已经是一个一般性的概念,
几乎所有AI有关的会议上都有这方面的内容, 所以AAMAS下降的趋势非常明显.ECCV (2+): 计算机视觉方面仅次于ICCV的会议, 因为这个领域发展很快, 有可能升级到1-去.ECML (2+): 机器学习方面仅次于ICML的会议, 欧洲人极力捧场, 一些人认为它已经是1-了. 我保守一点, 仍然把它放在2+. 因为机器学习发展很快, 这个会议的reputation上升非常明显.ICDM (2+): 数据挖掘方面仅次于SIGKDD的会议, 目前和SDM相当. 这个会只有5年历史, 上升速度之快非常惊人. 几年前ICDM还比不上PAKDD, 现在已经拉开很大距离了.SDM (2+): 数据挖掘方面仅次于SIGKDD的会议, 目前和ICDM相当. SIAM的底子很厚,但在CS里面的影响比ACM和IEEE还是要小, SDM眼看着要被ICDM超过了, 但至少目前还是相当的.ICAPS (2): 人工智能规划方面最好的会议, 是由以前的国际和欧洲规划会议合并来的. 因为这个领域逐渐变冷清, 影响比以前已经小了.ICCBR (2): Case-Based Reasoning方面最好的会议. 因为领域不太大, 而且一直半冷不热, 所以总是停留在2上.COLLING (2): 计算语言学/自然语言处理方面仅次于ACL的会, 但与ACL的差距比ICCV-ECCV和ICML-ECML大得多.ECAI (2): 欧洲的人工智能综合型会议, 历史很久, 但因为有IJCAI/AAAI压着,
很难往上升.ALT (2-): 有点象COLT的tier-2版, 但因为搞计算学习理论的人没多少, 做得好的数来数去就那么些group, 基本上到COLT去了, 所以ALT里面有不少并非计算学习理论的内容.EMNLP (2-): 计算语言学/自然语言处理方面一个不错的会. 有些人认为与COLLING相当, 但我觉得它还是要弱一点.ILP (2-): 归纳逻辑程序设计方面最好的会议. 但因为很多其他会议里都有ILP方面的内容, 所以它只能保住2-的位置了.PKDD (2-): 欧洲的数据挖掘会议, 目前在数据挖掘会议里面排第4. 欧洲人很想把它抬起来, 所以这些年一直和ECML一起捆绑着开, 希望能借ECML把它带起来.但因为ICDM和SDM, 这已经不太可能了. 所以今年的PKDD和ECML虽然还是一起开, 但已经独立审稿了(以前是可以同时投两个会, 作者可以声明优先被哪个会考虑, 如果ECML中不了还可以被PKDD接受).tier 3: 列得很不全. 另外, 因为AI的相关会议非常多, 所以能列在tier-3也算不错了, 基本上能进到所有AI会议中的前30%吧ACCV (3+): 亚洲的计算机视觉会议, 在亚太级别的会议里算很好的了.DS (3+): 日本人发起的一个接近数据挖掘的会议.ECIR (3+): 欧洲的信息检索会议, 前几年还只是英国的信息检索会议.ICTAI (3+): IEEE最主要的人工智能会议, 偏应用, 是被IEEE办烂的一个典型. 以前的quality还是不错的, 但是办得越久声誉反倒越差了, 糟糕的是似乎还在继续下滑, 现在其实3+已经不太呆得住了.PAKDD (3+): 亚太数据挖掘会议, 目前在数据挖掘会议里排第5.ICANN (3+): 欧洲的神经网络会议, 从quality来说是神经网络会议中最好的, 但这个领域的人不重视会议,在该领域它的重要性不如IJCNN.AJCAI (3): 澳大利亚的综合型人工智能会议, 在国家/地区级AI会议中算不错的了.CAI (3): 加拿大的综合型人工智能会议, 在国家/地区级AI会议中算不错的了.CEC (3): 进化计算方面最重要的会议之一, 盛会型. IJCNN/CEC/FUZZ-IEEE这三个会议是计算智能或者说软计算方面最重要的会议, 它们经常一起开, 这时就叫WCCI  (World Congress on Computational Intelligence). 但这个领域和CS其他分支不太一样, 倒是和其他学科相似, 只重视journal, 不重视会议, 所以录用率经常在85%左右, 所录文章既有quality非常高的论文, 也有入门新手的习作.FUZZ-IEEE (3): 模糊方面最重要的会议, 盛会型, 参见CEC的介绍.GECCO (3): 进化计算方面最重要的会议之一, 与CEC相当，盛会型.ICASSP (3): 语音方面最重要的会议之一, 这个领域的人也不很care会议.ICIP (3): 图像处理方面最著名的会议之一, 盛会型.ICPR (3): 模式识别方面最著名的会议之一, 盛会型.IEA/AIE (3): 人工智能应用会议. 一般的会议提名优秀论文的通常只有几篇文章, 被提名就已经是很高的荣誉了, 这个会很有趣, 每次都搞1、20篇的优秀论文提名, 专门搞几个session做被提名论文报告, 倒是很热闹.IJCNN (3): 神经网络方面最重要的会议, 盛会型, 参见CEC的介绍.IJNLP (3): 计算语言学/自然语言处理方面比较著名的一个会议.PRICAI (3): 亚太综合型人工智能会议, 虽然历史不算短了, 但因为比它好或者相当的综合型会议太多, 所以很难上升==========机器学习推荐论文和书籍=================基本模型:
HMM(Hidden Markov Models):
A Tutorial on Hidden Markov Models and Selected Applications in
Speech Recognition.pdf
ME(Maximum Entropy):
ME_to_NLP.pdf
MEMM(Maximum Entropy Markov Models):
memm.pdf
CRF(Conditional Random Fields):
An Introduction to Conditional Random Fields for Relational Learning.pdf
Conditional Random Fields: Probabilistic Models for Segmenting and
Labeling Sequence Data.pdf
SVM(support vector machine):
*张学工<<统计学习理论>>
LSA(or LSI)(Latent Semantic Analysis):
Latent semantic analysis.pdf
pLSA(or pLSI)(Probablistic Latent Semantic Analysis):
Probabilistic Latent Semantic Analysis.pdf
LDA(Latent Dirichlet Allocation):
Latent Dirichlet Allocaton.pdf(用variational theory + EM算法解模型)
Parameter estimation for text analysis.pdf(using Gibbs Sampling 解模)
Neural Networksi(including Hopfield Model& self-organizing maps &
Stochastic networks & Boltzmann Machine etc.):
Neural Networks – A Systematic Introduction
Diffusion Networks:
Diffusion Networks, Products of Experts, and Factor Analysis.pdf
Markov random fields:
Generalized Linear Model(including logistic regression etc.):
An introduction to Generalized Linear Models 2nd
Chinese Restraunt Model (Dirichlet Processes):
Dirichlet Processes, Chinese Restaurant Processes and all that.pdf
Estimating a Dirichlet Distribution.pdf
=================================================================
Some important algorithms:
EM(Expectation Maximization):
Expectation Maximization and Posterior Constraints.pdf
Maximum Likelihood from Incomplete Data via the EM Algorithm.pdf
MCMC(Markov Chain Monte Carlo) & Gibbs Sampling:
Markov Chain Monte Carlo and Gibbs Sampling.pdf
Explaining the Gibbs Sampler.pdf
An introduction to MCMC for Machine Learning.pdf
PageRank:
矩阵分解算法:
SVD, QR分解, Shur分解, LU分解, 谱分解
Boosting( including Adaboost):
*adaboost_talk.pdf
Spectral Clustering:
Tutorial on spectral clustering.pdf
Energy-Based Learning:
A tutorial on Energy-based learning.pdf
Belief Propagation:
Understanding Belief Propagation and its Generalizations.pdf
bp.pdf
Construction free energy approximation and generalized belief
propagation algorithms.pdf
Loopy Belief Propagation for Approximate Inference An Empirical Study.pdf
Loopy Belief Propagation.pdf
AP (affinity Propagation):
L-BFGS:
<<最优化理论与算法 2nd>> chapter 10
On the limited memory BFGS method for large scale optimization.pdf
IIS:
IIS.pdf
=================================================================
理论部分：
概率图(probabilistic networks):
An introduction to Variational Methods for Graphical Models.pdf
Probabilistic Networks
Factor Graphs and the Sum-Product Algorithm.pdf
Constructing Free Energy Approximations and Generalized Belief
Propagation Algorithms.pdf
*Graphical Models, exponential families, and variational inference.pdf
Variational Theory(变分理论，我们只用概率图上的变分):
Tutorial on varational approximation methods.pdf
A variational Bayesian framework for graphical models.pdf
variational tutorial.pdf
Information Theory:
Elements of Information Theory 2nd.pdf
测度论：
测度论(Halmos).pdf
测度论讲义(严加安).pdf
概率论:
……
<<概率与测度论>>
随机过程:
应用随机过程 林元烈 2002.pdf
<<随机数学引论>>
Matrix Theory:
矩阵分析与应用.pdf
模式识别：
<<模式识别 2nd>> 边肇祺
*Pattern Recognition and Machine Learning.pdf
最优化理论:
<>
<<最优化理论与算法>>
泛函分析：
<<泛函分析导论及应用>>
Kernel理论：
<<模式分析的核方法>>
统计学:
……
<<统计手册>>
==========================================================
综合:
semi-supervised learning:
<> MIT Press
semi-supervised learning based on Graph.pdf
Co-training:
Self-training:
本文转载自：http://blog.csdn.net/linuxcumt/article/details/8576020
发表在 机器学习    | 留下评论
机器学习领域的几种主要学习方式
发表于2014年12月24日由smallroof
学习方式根据数据类型的不同，对一个问题的建模有不同的方式。在机器学习或者人工智能领域，人们首先会考虑算法的学习方式。在机器学习领域，有几种主要 的学习方式。将算法按照学习方式分类是一个不错的想法，这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果。监督式学习：在监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”，对手写 数字识别中的“1“，”2“，”3“，”4“等。在建立预测模型的时候，监督式学习建立一个学习过程，将预测结果与“训练数据”的实际结果进行比较，不断 的调整预测模型，直到模型的预测结果达到一个预期的准确率。监督式学习的常见应用场景如分类问题和回归问题。常见算法有逻辑回归（Logistic Regression）和反向传递神经网络（Back Propagation Neural Network）非监督式学习：在非监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等。常见算法包括Apriori算法以及k-Means算法。半监督式学习：在此学习方式下，输入数据部分被标识，部分没有被标识，这种学习模型可以用来进行预测，但是模型首先需要学习数据的内在结构以便合理的组织数据 来进行预测。应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸，这些算法首先试图对未标识数据进行建模，在此基础上再对标识的数据进行预 测。如图论推理算法（Graph Inference）或者拉普拉斯支持向量机（Laplacian SVM.）等。强化学习：在这种学习模式下，输入数据作为对模型的反馈，不像监督模型那样，输入数据仅仅是作为一个检查模型对错的方式，在强化学习下，输入数据直接反馈 到模型，模型必须对此立刻作出调整。常见的应用场景包括动态系统以及机器人控制等。常见算法包括Q-Learning以及时间差学习（Temporal difference learning）在企业数据应用的场景下， 人们最常用的可能就是监督式学习和非监督式学习的模型。 在图像识别等领域，由于存在大量的非标识的数据和少量的可标识数据， 目前半监督式学习是一个很热的话题。 而强化学习更多的应用在机器人控制及其他需要进行系统控制的领域。算法类似性根据算法的功能和形式的类似性，我们可以把算法分类，比如说基于树的算法，基于神经网络的算法等等。当然，机器学习的范围非常庞大，有些算法很 难明确归类到某一类。而对于有些分类来说，同一分类的算法可以针对不同类型的问题。这里，我们尽量把常用的算法按照最容易理解的方式进行分类。回归算法回归算法是试图采用对误差的衡量来探索变量之间的关系的一类算法。回归算法是统计机器学习的利器。在机器学习领域，人们说起回归，有时候是指一 类问题，有时候是指一类算法，这一点常常会使初学者有所困惑。常见的回归算法包括：最小二乘法（Ordinary Least Square），逻辑回归（Logistic Regression），逐步式回归（Stepwise Regression），多元自适应回归样条（Multivariate Adaptive Regression Splines）以及本地散点平滑估计（Locally Estimated Scatterplot Smoothing）基于实例的算法基于实例的算法常常用来对决策问题建立模型，这样的模型常常先选取一批样本数据，然后根据某些近似性把新数据与样本数据进行比较。通过这种方式 来寻找最佳的匹配。因此，基于实例的算法常常也被称为“赢家通吃”学习或者“基于记忆的学习”。常见的算法包括 k-Nearest Neighbor(KNN), 学习矢量量化（Learning Vector Quantization， LVQ），以及自组织映射算法（Self-Organizing Map ， SOM）正则化方法正则化方法是其他算法（通常是回归算法）的延伸，根据算法的复杂度对算法进行调整。正则化方法通常对简单模型予以奖励而对复杂算法予以惩罚。常 见的算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO），以及弹性网络（Elastic Net）。决策树学习决策树算法根据数据的属性采用树状结构建立决策模型， 决策树模型常常用来解决分类和回归问题。常见的算法包括：分类及回归树（Classification And Regression Tree， CART）， ID3 (Iterative Dichotomiser 3)， C4.5， Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 随机森林（Random Forest）， 多元自适应回归样条（MARS）以及梯度推进机（Gradient Boosting Machine， GBM）贝叶斯方法贝叶斯方法算法是基于贝叶斯定理的一类算法，主要用来解决分类和回归问题。常见算法包括：朴素贝叶斯算法，平均单依赖估计（Averaged One-Dependence Estimators， AODE），以及Bayesian Belief Network（BBN）。基于核的算法基于核的算法中最着名的莫过于支持向量机（SVM）了。 基于核的算法把输入数据映射到一个高阶的向量空间， 在这些高阶向量空间里， 有些分类或者回归问题能够更容易的解决。 常见的基于核的算法包括：支持向量机（Support Vector Machine， SVM）， 径向基函数（Radial Basis Function ，RBF)， 以及线性判别分析（Linear Discriminate Analysis ，LDA)等。聚类算法聚类，就像回归一样，有时候人们描述的是一类问题，有时候描述的是一类算法。聚类算法通常按照中心点或者分层的方式对输入数据进行归并。所以的 聚类算法都试图找到数据的内在结构，以便按照最大的共同点将数据进行归类。常见的聚类算法包括 k-Means算法以及期望最大化算法（Expectation Maximization， EM）。关联规则学习关联规则学习通过寻找最能够解释数据变量之间关系的规则，来找出大量多元数据集中有用的关联规则。常见算法包括 Apriori算法和Eclat算法等。人工神经网络人工神经网络算法模拟生物神经网络，是一类模式匹配算法。通常用于解决分类和回归问题。人工神经网络是机器学习的一个庞大的分支，有几百种不同 的算法。（其中深度学习就是其中的一类算法，我们会单独讨论），重要的人工神经网络算法包括：感知器神经网络（Perceptron Neural Network）, 反向传递（Back Propagation）， Hopfield网络，自组织映射（Self-Organizing Map, SOM）。学习矢量量化（Learning Vector Quantization， LVQ）深度学习深度学习算法是对人工神经网络的发展。 在近期赢得了很多关注， 特别是 百度也开始发力深度学习后， 更是在国内引起了很多关注。  在计算能力变得日益廉价的今天，深度学习试图建立大得多也复杂得多的神经网络。很多深度学习的算法是半监督式学习算法，用来处理存在少量未标识数据的大 数据集。常见的深度学习算法包括：受限波尔兹曼机（Restricted Boltzmann Machine， RBN）， Deep Belief Networks（DBN），卷积网络（Convolutional Network）, 堆栈式自动编码器（Stacked Auto-encoders）。降低维度算法像聚类算法一样，降低维度算法试图分析数据的内在结构，不过降低维度算法是以非监督学习的方式试图利用较少的信息来归纳或者解释数据。这类算法 可以用于高维数据的可视化或者用来简化数据以便监督式学习使用。常见的算法包括：主成份分析（Principle Component Analysis， PCA），偏最小二乘回归（Partial Least Square Regression，PLS）， Sammon映射，多维尺度（Multi-Dimensional Scaling, MDS）,  投影追踪（Projection Pursuit）等。集成算法集成算法用一些相对较弱的学习模型独立地就同样的样本进行训练，然后把结果整合起来进行整体预测。集成算法的主要难点在于究竟集成哪些独立的较 弱的学习模型以及如何把学习结果整合起来。这是一类非常强大的算法，同时也非常流行。常见的算法包括：Boosting， Bootstrapped Aggregation（Bagging）， AdaBoost，堆叠泛化（Stacked Generalization， Blending），梯度推进机（Gradient Boosting Machine, GBM），随机森林（Random Forest）。原文：干货：机器学习领域的几种主要学习方式，如深度学习发表在 Deep Learning, 机器学习  | 留下评论
解密最接近人脑的智能学习机器——深度学习及并行化实现
发表于2014年12月24日由smallroof
摘要： 深度学习可以完成需要高度抽象特征的人工智能任务，如语音识别、图像识别和检索、自然语言理解等。深层模型是包含多个隐藏层的人工神经网络，多层非线性结构使其具备强大的特征表达能力和对复杂任务建模能力。训练深层模型是长期以来的难题，近年来以层次化、逐层初始化为代表的一系列方法的提出给训练深层模型带来了希望，并在多个应用领域获得了成功。深层模型的并行化框架和训练加速方法是深度学习走向实用的重要基石，已有多个针对不同深度模型的开源实现，Google、Facebook、百度、腾讯等公司也实现了各自的并行化框架。深度学习是目前最接近人脑的智能学习方法，深度学习引爆的这场革命，将人工智能带上了一个新的台阶，将对一大批产品和服务产生深远影响。1 深度学习的革命人工智能(Artificial Intelligence)，试图理解智能的实质，并制造出能以人类智能相似的方式做出反应的智能机器。如果说机器是人类手的延伸、交通工具是人类腿的延伸，那么人工智能就是人类大脑的延伸，甚至可以帮助人类自我进化，超越自我。人工智能也是计算机领域最前沿和最具神秘色彩的学科，科学家希望制造出代替人类思考的智能机器，艺术家将这一题材写进小说，搬上银幕，引发人们无限的遐想。然而，作为一门严肃的学科，人工智能在过去的半个多世纪中发展却不算顺利。过去的很多努力还是基于某些预设规则的快速搜索和推理，离真正的智能还有相当的距离，或者说距离创造像人类一样具有抽象学习能力的机器还很遥远。近年来，深度学习（Deep Learning）直接尝试解决抽象认知的难题，并取得了突破性的进展。深度学习引爆的这场革命，将人工智能带上了一个新的台阶，不仅学术意义巨大，而且实用性很强，工业界也开始了大规模的投入，一大批产品将从中获益。2006年，机器学习泰斗、多伦多大学计算机系教授Geoffery Hinton在Science发表文章[1]，提出基于深度信念网络（Deep Belief Networks, DBN）可使用非监督的逐层贪心训练算法，为训练深度神经网络带来了希望。2012年，Hinton又带领学生在目前最大的图像数据库ImageNet上，对分类问题取得了惊人的结果[2]，将Top5错误率由26%大幅降低至15%。2012年，由人工智能和机器学习顶级学者Andrew Ng和分布式系统顶级专家Jeff Dean领衔的梦幻阵容，开始打造Google Brain项目，用包含16000个CPU核的并行计算平台训练超过10亿个神经元的深度神经网络，在语音识别和图像识别等领域取得了突破性的进展[3]。该系统通过分析YouTube上选取的视频，采用无监督的方式训练深度神经网络，可将图像自动聚类。在系统中输入“cat”后，结果在没有外界干涉的条件下，识别出了猫脸。2012年，微软首席研究官Rick Rashid在21世纪的计算大会上演示了一套自动同声传译系统[4]，将他的英文演讲实时转换成与他音色相近、字正腔圆的中文演讲。同声传译需要经历语音识别、机器翻译、语音合成三个步骤。该系统一气呵成，流畅的效果赢得了一致认可，深度学习则是这一系统中的关键技术。2013年，Google收购了一家叫DNN Research的神经网络初创公司，这家公司只有三个人，Geoffrey Hinton和他的两个学生。这次收购并不涉及任何产品和服务，只是希望Hinton可以将深度学习打造为支持Google未来的核心技术。同年，纽约大学教授，深度学习专家Yann LeCun加盟Facebook，出任人工智能实验室主任[5]，负责深度学习的研发工作，利用深度学习探寻用户图片等信息中蕴含的海量信息，希望在未来能给用户提供更智能化的产品使用体验。2013年，百度成立了百度研究院及下属的深度学习研究所（IDL），将深度学习应用于语音识别和图像识别、检索，以及广告CTR预估（Click-Through-Rate Prediction，pCTR），其中图片检索达到了国际领先水平。2014年又将Andrew Ng招致麾下，Andrew Ng是斯坦福大学人工智能实验室主任，入选过《时代》杂志年度全球最有影响力100人，是16位科技界的代表之一。如果说Hinton 2006年发表在《Science》杂志上的论文[1]只是在学术界掀起了对深度学习的研究热潮，那么近年来各大巨头公司争相跟进，将顶级人才从学术界争抢到工业界，则标志着深度学习真正进入了实用阶段，将对一系列产品和服务产生深远影响，成为它们背后强大的技术引擎。目前，深度学习在几个主要领域都获得了突破性的进展：在语音识别领域，深度学习用深层模型替换声学模型中的混合高斯模型（Gaussian Mixture Model, GMM），获得了相对30%左右的错误率降低；在图像识别领域，通过构造深度卷积神经网络（CNN）[2]，将Top5错误率由26%大幅降低至15%，又通过加大加深网络结构，进一步降低到11%；在自然语言处理领域，深度学习基本获得了与其他方法水平相当的结果，但可以免去繁琐的特征提取步骤。可以说到目前为止，深度学习是最接近人类大脑的智能学习方法。2深层模型的基本结构深度学习采用的模型为深层神经网络（Deep Neural Networks，DNN）模型，即包含多个隐藏层（Hidden Layer，也称隐含层）的神经网络（Neural Networks，NN）。深度学习利用模型中的隐藏层，通过特征组合的方式，逐层将原始输入转化为浅层特征，中层特征，高层特征直至最终的任务目标。深度学习源于人工神经网络的研究，先来回顾一下人工神经网络。一个神经元如下图所示[6]：1这个神经元接受三个输入x1，x2，x3，神经元输出为2其中W1, W2, W3和b为神经元的参数，f(z)称为激活函数，一种典型的激活函数为Sigmoid函数，即3其图像为4神经网络则是多个神经元组成的网络，一个简单的神经网络如下图所示5使用圆圈来表示神经网络的输入，标上“+1”的圆圈称为偏置节点，也就是截距项。神经网络最左边的一层叫做输入层（本例中，有3个输入单元，偏置单元不计）；最右的一层叫做输出层（本例中，输出层有2个节点）；中间的节点叫做隐藏层（本例中，有2个隐藏层，分别包含3个和2个神经元，偏置单元同样不计），因为不能在训练样本集中观测到它们的值。神经元网络中的每一条连线对应一个连接参数，连线个数对应网络的参数个数（本例共有４×３ ＋ ４×２ ＋３×２＝２６个参数）。求解这个的神经网络，需要（x(i)，y(i)）的样本集，其中x(i)是3维向量，y(i)是2维向量。上图算是一个浅层的神经网络，下图是一个用于语音识别的深层神经网络。具有1个输入层，4个隐藏层和1个输出层，相邻两层的神经元全部连接。63 选择深层模型的原因为什么要构造包含这么多隐藏层的深层网络结构呢？背后有一些理论依据：3.1天然层次化的特征对于很多训练任务来说，特征具有天然的层次结构。以语音、图像、文本为例，层次结构大概如下表所示。7以图像识别为例，图像的原始输入是像素，相邻像素组成线条，多个线条组成纹理，进一步形成图案，图案构成了物体的局部，直至整个物体的样子。不难发现，可以找到原始输入和浅层特征之间的联系，再通过中层特征，一步一步获得和高层特征的联系。想要从原始输入直接跨越到高层特征，无疑是困难的。83.2 仿生学依据人工神经网络本身就是对人类神经系统的模拟，这种模拟具有仿生学的依据。1981年，David Hubel 和Torsten Wiesel发现可视皮层是分层的[8]。人类的视觉系统包含了不同的视觉神经元，这些神经元与瞳孔所受的刺激（系统输入）之间存在着某种对应关系（神经元之间的连接参数），即受到某种刺激后（对于给定的输入），某些神经元就会活跃（被激活）。这证实了人类神经系统和大脑的工作其实是不断将低级抽象传导为高级抽象的过程，高层特征是低层特征的组合，越到高层特征就越抽象。3.3 特征的层次可表示性特征的层次可表示性也得到了证实。1995年前后，Bruno Olshausen和David Field[9]收集了很多黑白风景照，从这些照片中找到了400个16×16的基本碎片，然后从照片中再找到其他一些同样大小的碎片，希望将其他碎片表示为这400个基本碎片的线性组合，并使误差尽可能小，使用的碎片尽可能少。表示完成后，再固定其他碎片，选择更合适的基本碎片组合优化近似结果。反复迭代后，得到了可以表示其他碎片的最佳的基本碎片组合。他们发现，这些基本碎片组合都是不同物体不同方向的边缘线。9这说明可以通过有效的特征提取，将像素抽象成更高级的特征。类似的结果也适用于语音特征。4 从浅层模型到深层模型前文谈到了深层模型的结构和它的优势。事实上，深层模型具有强大的表达能力，并可以像人类一样有效提取高级特征，并不是新的发现。那么为什么深层模型直到最近几年才开始得到广泛的关注和应用呢？还是从传统的机器学习方法和浅层学习谈起。4.1浅层模型及训练方法反向传播算法（Back Propagation，BP算法）[10]是一种神经网络的梯度计算方法。反向传播算法先定义模型在训练样本上的代价函数，再求代价函数对于每个参数的梯度。反向传播算法巧妙的利用了下层神经元的梯度可由上层神经元的残差导出的规律，求解的过程也正如算法的名字那样，自上而下反向逐层计算，直至获得所有参数的梯度。反向传播算法可以帮助训练基于统计的机器学习模型，从大量的训练样本中挖掘出统计规律，进而可对未标注的数据进行预测。这种基于统计的学习方法比起传统的基于规则的方法具备很多优越性[11]。上世纪八九十年代，人们提出了一系列机器学习模型，应用最为广泛的包括支持向量机（Support Vector Machine，SVM）[12]和逻辑回归（Logistic Regression，LR）[13]，这两种模型分别可以看作包含1个隐藏层和没有隐藏层的浅层模型。训练时可以利用反向传播算法计算梯度，再用梯度下降方法在参数空间中寻找最优解。浅层模型往往具有凸代价函数，理论分析相对简单，训练方法也容易掌握，取得了很多成功的应用。4.2 深层模型的训练难度浅层模型的局限性在于有限参数和计算单元，对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定的制约。深层模型恰恰可以克服浅层模型的这一弱点，然而应用反向传播和梯度下降来训练深层模型，就面临几个突出的问题[14]：1.局部最优。与浅层模型的代价函数不同，深层模型的每个神经元都是非线性变换，代价函数是高度非凸函数，采用梯度下降的方法容易陷入局部最优。2.梯度弥散。使用反向传播算法传播梯度的时候，随着传播深度的增加，梯度的幅度会急剧减小，会导致浅层神经元的权重更新非常缓慢，不能有效学习。这样一来，深层模型也就变成了前几层相对固定，只能改变最后几层的浅层模型。3.数据获取。深层模型的表达能力强大，模型的参数也相应增加。对于训练如此多参数的模型，小训练数据集是不能实现的，需要海量的有标记的数据，否则只能导致严重的过拟合（Over fitting）。4.3 深层模型的训练方法尽管挑战很大，Hinton教授并没有放弃努力，他30年来一直从事相关研究，终于有了突破性的进展。2006年，他在《Science》上发表了一篇文章[1]，掀起了深度学习在学术界和工业界的浪潮。这篇文章的两个主要观点是：1.多隐藏层的人工神经网络具有优异的特征学习能力，学习到的特征对数据有更本质的刻画，从而有利于可视化或分类。2.深度神经网络在训练上的难度，可以通过“逐层初始化”（Layer-wise Pre-training）来有效克服，文中给出了无监督的逐层初始化方法。优异的特征刻画能力前文已经提到，不再累述，下面重点解释一下“逐层初始化”的方法。10给定原始输入后，先要训练模型的第一层，即图中左侧的黑色框。黑色框可以看作是一个编码器，将原始输入编码为第一层的初级特征，可以将编码器看作模型的一种“认知”。为了验证这些特征确实是输入的一种抽象表示，且没有丢失太多信息，需要引入一个对应的解码器，即图中左侧的灰色框，可以看作模型的“生成”。为了让认知和生成达成一致，就要求原始输入通过编码再解码，可以大致还原为原始输入。因此将原始输入与其编码再解码之后的误差定义为代价函数，同时训练编码器和解码器。训练收敛后，编码器就是我们要的第一层模型，而解码器则不再需要了。这时我们得到了原始数据的第一层抽象。固定第一层模型，原始输入就映射成第一层抽象，将其当作输入，如法炮制，可以继续训练出第二层模型，再根据前两层模型训练出第三层模型，以此类推，直至训练出最高层模型。逐层初始化完成后，就可以用有标签的数据，采用反向传播算法对模型进行整体有监督的训练了。这一步可看作对多层模型整体的精细调整。由于深层模型具有很多局部最优解，模型初始化的位置将很大程度上决定最终模型的质量。“逐层初始化”的步骤就是让模型处于一个较为接近全局最优的位置，从而获得更好的效果。4.4 浅层模型和深层模型的对比11浅层模型有一个重要的特点，需要依靠人工经验来抽取样本的特征，模型的输入是这些已经选取好的特征，模型只用来负责分类和预测。在浅层模型中，最重要的往往不是模型的优劣，而是特征的选取的优劣。因此大多数人力都投入到特征的开发和筛选中来，不但需要对任务问题领域有深刻的理解，还要花费大量时间反复实验摸索，这也限制了浅层模型的效果。事实上，逐层初始化深层模型也可以看作是特征学习的过程，通过隐藏层对原始输入的一步一步抽象表示，来学习原始输入的数据结构，找到更有用的特征，从而最终提高分类问题的准确性。在得到有效特征之后，模型整体训练也可以水到渠成。5 深层模型的层次组件深层模型是包含多个隐藏层的神经网络，每一层的具体结构又是怎样的呢？本节介绍一些常见的深层模型基本层次组件。5.1 自编码器（Auto-Encoder）一种常见的深层模型是由自编码器（Auto-Encoder）构造的[6]。自编码器可以利用一组无标签的训练数据{x(1), x(2), … }（其中x(i)是一个n维向量）进行无监督的模型训练。它采用反向传播算法，让目标值接近输入值。下图是一个自编码器的示例：12自编码器尝试训练一个恒等函数，让输出接近等于输入值，恒等函数看似没有学习的意义，但考虑到隐藏层神经元的数目（本例中为3个）小于输入向量的维数（本例中为6维），事实上隐藏层就变成了输入数据的一种压缩的表示，或说是抽象的简化表示。如果网络的输入是完全随机的，将高维向量压缩成低维向量会难以实现。但训练数据往往隐含着特定的结构，自编码器就会学到这些数据的相关性，从而得到有效的压缩表示。实际训练后，如果代价函数越小，就说明输入和输出越接近，也就说明这个编码器越靠谱。当然，自编码器训练完成后，实际使用时只需要它的前一层，即编码部分，解码部分就没用了。稀疏自编码器（Sparse Auto-Encoder）是自编码器的一个变体，它在自编码器的基础上加入正则化（Regularity）。正则化是在代价函数中加入抑制项，希望隐藏层节点的平均激活值接近于0，有了正则化的约束，输入数据可以用少数隐藏节点表达。之所以采用稀疏自编码器，是因为稀疏的表达往往比稠密的表达更有效，人脑神经系统也是稀疏连接，每个神经元只与少数神经元连接。降噪自编码器是另一种自编码器的变体。通过在训练数据中加入噪声，可训练出对输入信号更加鲁棒的表达，从而提升模型的泛化能力，可以更好地应对实际预测时夹杂在数据中的噪声。得到自编码器后，我们还想进一步了解自编码器到底学到了什么。例如，在10×10的图像上训练一个稀疏自编码器，然后对于每个隐藏神经元，找到什么样的图像可以让隐藏神经元获得最大程度的激励，即这个隐藏神经元学习到了什么样的特征。将100个隐藏神经元的特征都找出来，得到了如下100幅图像：13可以看出，这100幅图像具备了从不同方向检测物体边缘的能力。显然，这样的能力对后续的图像识别很有帮助。5.2 受限玻尔兹曼机（Restricted Boltzmann Machine，RBM）受限玻尔兹曼机（Restricted Boltzmann Machine， RBM）是一个二部图，一层是输入层（v），另一层是隐藏层（h），假设所有节点都是随机二值变量节点，只能取值0或1，同时假设全概率分布p(v, h)满足Boltzmann分布。14由于同层节点之间没有连接，因此已知输入层的情况下，隐藏层的各节点是条件独立的；反之，已知隐藏层的情况下，输入层各节点也是条件独立的。同时，可以根据Boltzmann分布，当输入v时通过p(h|v)生成隐藏层，得到隐藏层之后再通过p(v|h)生成输入层。相信很多读者已经猜到了，可以按照训练其他网络类似的思路，通过调整参数，希望通过输入v生成的h，再生成的v’与v尽可能接近，则说明隐藏层h是输入层v的另外一种表示。这样就可以作为深层模型的基本层次组件了。全部用RBM形成的深层模型为深度玻尔兹曼机（Deep Boltzmann Machine，DBM）。如果将靠近输入层的部分替换为贝叶斯信念网络，即有向图模型，而在远离输入层的部分仍然使用RBM，则称为深度信念网络（Deep Belief Networks，DBN）。5.3 卷积神经网络（Convolutional Neural Networks, CNN）以上介绍的编码器都是全连通网络，可以完成10×10的图像识别，如手写体数字识别问题。然而对于更大的图像，如100×100的图像，如果要学习100个特征，则需要1,000,000个参数，计算时间会大大增加。解决这种尺寸图像识别的有效方法是利用图像的局部性，构造一个部分联通的网络。一种最常见的网络是卷积神经网络（Convolutional Neural Networks，CNN）[15][16]，它利用图像固有的特性，即图像局部的统计特性与其他局部是一样的。因此从某个局部学习来的特征同样适用于另外的局部，对于这个图像上的所有位置，都能使用同样的特征。具体地说，假设有一幅100×100的图像，要从中学习一个10×10的局部图像特征的神经元，如果采用全连接的方式，100×100维的输入到这个神经元需要有10000个连接权重参数。而采用卷积核的方式，只有10×10=100个参数权重，卷积核可以看作一个10×10的小窗口，在图像上上下左右移动，走遍图像中每个10×10的位置（共有91×91个位置）。每移动到一个位置，则将该位置的输入与卷积核对应位置的参数相乘再累加，得到一个输出值（输出值是91×91的图像）。卷积核的特点是连接数虽然很多，有91×91×10×10个连接，但是参数只有10×10=100个，参数数目大大减小，训练也变得容易了，并且不容易产生过拟合。当然，一个神经元只能提取一个特征，要提取多个特征就要多个卷积核。下图揭示了对一幅8×8维图像使用卷积方法提取特征的示意过程。其中使用了3×3的卷积核，走遍图像中每个3×3的位置后，最终得到6×6维的输出图像：1516如图所示是Hinton的研究小组在ImageNet竞赛中使用的卷积神经网络[2]，共有5个卷积层，每层分别有96，256，384，384和256个卷积核，每层卷积核的大小分别为11×11，5×5，3×3，3×3和3×3。网络的最后两层是全连接层。6 深度学习的训练加速深层模型训练需要各种技巧，例如网络结构的选取，神经元个数的设定，权重参数的初始化，学习率的调整，Mini-batch的控制等等。即便对这些技巧十分精通，实践中也要多次训练，反复摸索尝试。此外，深层模型参数多，计算量大，训练数据的规模也更大，需要消耗很多计算资源。如果可以让训练加速，就可以在同样的时间内多尝试几个新主意，多调试几组参数，工作效率会明显提升，对于大规模的训练数据和模型来说，更可以将难以完成的任务变成可能。这一节就谈谈深层模型的训练加速方法。6.1 GPU加速矢量化编程是提高算法速度的一种有效方法。为了提升特定数值运算操作（如矩阵相乘、矩阵相加、矩阵-向量乘法等）的速度，数值计算和并行计算的研究人员已经努力了几十年。矢量化编程强调单一指令并行操作多条相似数据，形成单指令流多数据流（SIMD）的编程泛型。深层模型的算法，如BP，Auto-Encoder，CNN等，都可以写成矢量化的形式。然而，在单个CPU上执行时，矢量运算会被展开成循环的形式，本质上还是串行执行。GPU（Graphic Process Units，图形处理器）的众核体系结构包含几千个流处理器，可将矢量运算并行化执行，大幅缩短计算时间。随着NVIDIA、AMD等公司不断推进其GPU的大规模并行架构支持，面向通用计算的GPU（General-Purposed GPU, GPGPU）已成为加速可并行应用程序的重要手段。得益于GPU众核（many-core）体系结构，程序在GPU系统上的运行速度相较于单核CPU往往提升几十倍乃至上千倍。目前GPU已经发展到了较为成熟的阶段，受益最大的是科学计算领域，典型的成功案例包括多体问题（N-Body Problem）、蛋白质分子建模、医学成像分析、金融计算、密码计算等。利用GPU来训练深度神经网络，可以充分发挥其数以千计计算核心的高效并行计算能力，在使用海量训练数据的场景下，所耗费的时间大幅缩短，占用的服务器也更少。如果对针对适当的深度神经网络进行合理优化，一块GPU卡可相当于数十甚至上百台CPU服务器的计算能力，因此GPU已经成为业界在深度学习模型训练方面的首选解决方案。6.2数据并行数据并行是指对训练数据做切分，同时采用多个模型实例，对多个分片的数据并行训练。17要完成数据并行需要做参数交换，通常由一个参数服务器（Parameter Server）来帮助完成。在训练的过程中，多个训练过程相互独立，训练的结果，即模型的变化量ΔW需要汇报给参数服务器，由参数服务器负责更新为最新的模型W’ = W – η ∙ ΔW，然后再将最新的模型W’分发给训练程序，以便从新的起点开始训练。数据并行有同步模式和异步模式之分。同步模式中，所有训练程序同时训练一个批次的训练数据，完成后经过同步，再同时交换参数。参数交换完成后所有的训练程序就有了共同的新模型作为起点，再训练下一个批次。而异步模式中，训练程序完成一个批次的训练数据，立即和参数服务器交换参数，不考虑其他训练程序的状态。异步模式中一个训练程序的最新结果不会立刻体现在其他训练程序中，直到他们进行下次参数交换。参数服务器只是一个逻辑上的概念，不一定部署为独立的一台服务器。有时候它会附属在某一个训练程序上，有时也会将参数服务器按照模型划分为不同的分片，分别部署。6.3模型并行模型并行将模型拆分成几个分片，由几个训练单元分别持有，共同协作完成训练。当一个神经元的输入来自另一个训练单元上的神经元的输出时，产生通信开销。18多数情况下，模型并行带来的通信开销和同步消耗超过数据并行，因此加速比也不及数据并行。但对于单机内存无法容纳的大模型来说，模型并行是一个很好的选择。令人遗憾的是，数据并行和模型并行都不能无限扩展。数据并行的训练程序太多时，不得不减小学习率，以保证训练过程的平稳；模型并行的分片太多时，神经元输出值的交换量会急剧增加，效率大幅下降。因此，同时进行模型并行和数据并行也是一种常见的方案。如下图所示，4个GPU分为两组，GPU0，1为一组模型并行，GPU2，3为另一组，每组模型并行在计算过程中交换输出值和残差。两组GPU之间形成数据并行，Mini-batch结束后交换模型权重，考虑到模型的蓝色部分由GPU0和GPU2持有，而黄色部分由GPU1和GPU3持有，因此只有同色的GPU之间需要交换权重。196.4计算集群搭建CPU集群用于深度神经网络模型训练也是业界常用的解决方案，其优势在于利用大规模分布式计算集群的强大计算能力，利用模型可分布式存储、参数可异步通信的特点，达到快速训练深层模型的目的。CPU集群方案的基本架构包含用于执行训练任务的Worker、用于分布式存储分发模型的参数服务器（Parameter Server）和用于协调整体任务的主控程序（Master）。CPU集群方案适合训练GPU内存难以容纳的大模型，以及稀疏连接神经网络。Andrew Ng和Jeff Dean在Google用1000台CPU服务器，完成了模型并行和Downpour SGD数据并行的深度神经网络训练[17]。结合GPU计算和集群计算技术，构建GPU集群正在成为加速大规模深度神经网络训练的有效解决方案。GPU集群搭建在CPU-GPU系统之上，采用万兆网卡或Infiniband等更加快速的网络通信设施，以及树形拓扑等逻辑网络拓扑结构。在发挥出单节点较高计算能力的基础上，再充分挖掘集群中多台服务器的协同计算能力，进一步加速大规模训练任务。7 深度学习的软件工具及平台目前，在深度学习系统实现方面，已有诸多较为成熟的软件工具和平台。7.1 开源软件在开源社区，主要有以下较为成熟的软件工具：Kaldi是一个基于C++和CUDA的语音识别工具集[18][19]，提供给语音识别的研究人员使用。Kaldi中既实现了用单个GPU加速的深度神经网络SGD训练，也实现了CPU多线程加速的深度神经网络SGD训练。Cuda-convnet基于C++/CUDA编写，采用反向传播算法的深度卷积神经网络实现[20][21]。2012年cuda-convnet发布，可支持单个GPU上的训练，基于其训练的深度卷积神经网络模型在ImageNet LSVRC-2012对图像按1000个类目分类，取得Top 5分类15%错误率的结果[2]；2014年发布的版本可以支持多GPU上的数据并行和模型并行训练[22]。Caffe提供了在CPU以及GPU上的快速卷积神经网络实现，同时提供训练算法，使用NVIDIA K40或Titan GPU可以1天完成多于40,000,000张图片的训练[23][24]。Theano提供了在深度学习数学计算方面的Python库，它整合了NumPy矩阵计算库，可以运行在GPU上，并提供良好的算法上的扩展性[25][26]。OverFeat是由纽约大学CILVR实验室开发的基于卷积神经网络系统，主要应用场景为图像识别和图像特征提取[27]。Torch7是一个为机器学习算法提供广泛支持的科学计算框架，其中的神经网络工具包（Package）实现了均方标准差代价函数、非线性激活函数和梯度下降训练神经网络的算法等基础模块，可以方便地配置出目标多层神经网络开展训练实验[28]。7.2 工业界平台在工业界，Google、Facebook、百度、腾讯等公司都实现了自己的软件框架：Google的DistBelief系统是CPU集群实现的数据并行和模型并行框架，集群内使用上万CPU core来训练多达10亿参数的深度神经网络模型。DistBelief应用的主要算法有Downpour SGD和L-BFGS，支持的目标应用有语音识别和2.1万类目的图像分类[17]。Google的COTS HPC系统是GPU实现的数据并行和模型并行框架，GPU服务器间使用了Infiniband连接，并由MPI控制通信。COTS可以用3台GPU服务器在数天内完成对10亿参数的深度神经网络训练[29]。Facebook实现了多GPU训练深度卷积神经网络的并行框架，结合数据并行和模型并行的方式来训练CNN模型，使用4张NVIDIA Titan GPU可在数天内训练ImageNet的1000分类网络[30]。百度搭建了Paddle（Parallel Asynchonous Distributed Deep Learning）多机GPU训练平台[31]。将数据分布到不同机器，通过Parameter Server协调各机器训练。Paddle支持数据并行和模型并行。腾讯深度学习平台（Mariana）是为加速深度学习模型训练而开发的并行化平台，包括深度神经网络的多GPU数据并行框架，深度卷积神经网络的多GPU模型并行和数据并行框架，以及深度神经网络的CPU集群框架。Mariana基于特定应用的训练场景，设计定制化的并行化训练平台，支持了语音识别、图像识别，并积极探索在广告推荐中的应用[32]。8 总结近年来人工智能领域掀起了深度学习的浪潮，从学术界到工业界都热情高涨。深度学习尝试解决人工智能中抽象认知的难题，从理论分析和应用方面都获得了很大的成功。可以说深度学习是目前最接近人脑的智能学习方法。深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，并展现了强大的学习数据集本质和高度抽象化特征的能力。逐层初始化等训练方法显著提升了深层模型的可学习型。与传统的浅层模型相比，深层模型经过了若干层非线性变换，带给模型强大的表达能力，从而有条件为更复杂的任务建模。与人工特征工程相比，自动学习特征，更能挖掘出数据中丰富的内在信息，并具备更强的可扩展性。深度学习顺应了大数据的趋势，有了充足的训练样本，复杂的深层模型可以充分发挥其潜力，挖掘出海量数据中蕴含的丰富信息。强有力的基础设施和定制化的并行计算框架，让以往不可想象的训练任务加速完成，为深度学习走向实用奠定了坚实的基础。已有Kaldi，Cuda-convnet，Caffe等多个针对不同深度模型的开源实现，Google、Facebook、百度、腾讯等公司也实现了各自的并行化框架。深度学习引爆的这场革命，将人工智能带上了一个新的台阶，不仅学术意义巨大，而且实用性很强，深度学习将成为一大批产品和服务背后强大的技术引擎。参考文献[1] Geoffery E. Hinton, Salakhutdinov RR. Reducing the dimensionality of data with neural networks. Science. 2006 Jul 28;313(5786):504-7.[2] ImageNet Classification with Deep Convolutional Neural Networks, Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton, NIPS 2012.[3] Q.V. Le, M.A. Ranzato, R. Monga, M. Devin, K. Chen, G.S. Corrado, J. Dean, A.Y. Ng. Building high-level features using large scale unsupervised learning. ICML, 2012.[4] Rick Rashid, Speech Recognition Breakthrough for the Spoken, Translated Wordhttp://www.youtube.com/watch?v=Nu-nlQqFCKg[5] NYU “Deep Learning” Professor LeCun Will Lead Facebook’s New Artificial Intelligence Lab. http://techcrunch.com/2013/12/09/facebook-artificial-intelligence-lab-lecun/[6] Stanford deep learning tutorialhttp://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial[7] A Primer on Deep Learning[8] The Nobel Prize in Physiology or Medicine 1981.http://www.nobelprize.org/nobel_prizes/medicine/laureates/1981/[9] Bruno A. Olshausen & David J. Field, Emergence of simple-cell receptive field properties by learning a sparse code for natural images. Nature. Vol 381. 13 June, 1996 http://www.cs.ubc.ca/~little/cpsc425/olshausen_field_nature_1996.pdf[10] Back propagation algorithm http://ufldl.stanford.edu/wiki/index.php/Backpropagation_Algorithm[11] 余凯，深度学习-机器学习的新浪潮，Technical News程序天下事http://blog.csdn.net/datoubo/article/details/8577366[12] Support Vector Machine http://en.wikipedia.org/wiki/Support_vector_machine[13] Logistic Regression http://en.wikipedia.org/wiki/Logistic_regression[14] Deep Networks Overview http://ufldl.stanford.edu/wiki/index.php/Deep_Networks:_Overview[15] Y. LeCun and Y. Bengio. Convolutional networks for images, speech, and time-series. In M. A. Arbib, editor, The Handbook of Brain Theory and Neural Networks. MIT Press, 1995[16] Introduction to Convolutional neural network http://en.wikipedia.org/wiki/Convolutional_neural_network[17] Dean, J., Corrado, G.S., Monga, R., et al, Ng, A. Y. Large Scale Distributed Deep Networks. In Proceedings of the Neural Information Processing Systems (NIPS’12) (Lake Tahoe, Nevada, United States, December 3–6, 2012). Curran Associates, Inc, 57 Morehouse Lane, Red Hook, NY, 2013, 1223-1232.[18] Kaldi project http://kaldi.sourceforge.net/[19] Povey, D., Ghoshal, A. Boulianne, G., et al, Vesely, K. Kaldi. The Kaldi Speech Recognition Toolkit. in Proceedings of IEEE 2011 Workshop on Automatic Speech Recognition and Understanding(ASRU 2011) (Hilton Waikoloa Village, Big Island, Hawaii, US, December 11-15, 2011). IEEE Signal Processing Society. IEEE Catalog No.: CFP11SRW-USB.[20] cuda-convent https://code.google.com/p/cuda-convnet/[21] Krizhevsky, A., Sutskever, I., and Hinton, G.E. ImageNet Classification with Deep Convolutional Neural Networks. In Proceedings of the Neural Information Processing Systems (NIPS’12) (Lake Tahoe, Nevada, United States, December 3–6, 2012). Curran Associates, Inc, 57 Morehouse Lane, Red Hook, NY, 2013, 1097-1106.[22] Krizhevsky, A. Parallelizing Convolutional Neural Networks. in tutorial of IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2014). (Columbus, Ohio, USA, June 23-28, 2014). 2014.[23] caffe http://caffe.berkeleyvision.org/[24] Jia, Y. Q. Caffe: An Open Source Convolutional Architecture for Fast Feature Embedding. http://caffe.berkeleyvision.org (2013).[25] Theano https://github.com/Theano/Theano[26] J. Bergstra, O. Breuleux, F. Bastien, P. Lamblin, R. Pascanu, G. Desjardins, J. Turian, D. Warde-Farley and Y. Bengio. Theano: A CPU and GPU Math Expression Compiler. Proceedings of the Python for Scientific Computing Conference (SciPy) 2010. June 30 – July 3, Austin, TX.[27] Overfeat http://cilvr.nyu.edu/doku.php?id=code:start[28] Torch7 http://torch.ch[29] Coates, A., Huval, B., Wang, T., Wu, D. J., Ng, A. Y. Deep learning with COTS HPC systems. In Proceedings of the 30th International Conference on Machine Learning (ICML’13) (Atlanta, Georgia, USA, June 16–21, 2013). JMLR: W&CP volume 28(3), 2013, 1337-1345.[30] Yadan, O., Adams, K., Taigman, Y., Ranzato, M. A. Multi-GPU Training of ConvNets. arXiv:1312.5853v4 [cs.LG] (February 2014)[31] Kaiyu, Large-scale Deep Learning at Baidu, ACM International Conference on Information and Knowledge Management (CIKM 2013)[32] aaronzou, Mariana深度学习在腾讯的平台化和应用实践[33] Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh, A fast learning algorithm for deep belief nets Neural Compute, 18(7), 1527-54 (2006)[34] Andrew Ng. Machine Learning and AI via Brain simulations,https://forum.stanford.edu/events/2011slides/plenary/2011plenaryNg.pdf[35] Geoffrey Hinton：UCLTutorial on: Deep Belief Nets[36] Krizhevsky, Alex. “ImageNet Classification with Deep Convolutional Neural Networks”. Retrieved 17 November 2013.[37] “Convolutional Neural Networks (LeNet) – DeepLearning 0.1 documentation”. DeepLearning 0.1. LISA Lab. Retrieved 31 August 2013.[38] Bengio, Learning Deep Architectures for AI， http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf；[39] Deep Learning http://deeplearning.net/[40] Deep Learning http://www.cs.nyu.edu/~yann/research/deep/[41] Introduction to Deep Learning. http://en.wikipedia.org/wiki/Deep_learning[42] Google的猫脸识别:人工智能的新突破http://www.36kr.com/p/122132.html[43] Andrew Ng’s talk video: http://techtalks.tv/talks/machine-learning-and-ai-via-brain-simulations/57862/[44] Invited talk “A Tutorial on Deep Learning” by Dr. Kai Yu http://vipl.ict.ac.cn/News/academic-report-tutorial-deep-learning-dr-kai-yu文章出处：腾讯大数据发表在 Deep Learning   | 留下评论
5 deep learning startups to follow in 2015
发表于2014年12月23日由smallroof
The MetaMind team.Above: The MetaMind team.Image Credit: MetaMind
December 20, 2014 2:33 PM
Jordan Novet
It’s been a huge year for a type of artificial intelligence known as deep learning.Google, Twitter, and Yahoo have all acquired startups that deal in deep learning, which entails training systems called artificial neural networks on lots of information derived from audio, images, or other inputs, and then presenting the systems with new information and receiving inferences about it in response.Researchers at big companies and academic institutions have been making inroads in deep learning in recent months. Facebook and Baidu have made major hires, while people have done research in the area at Netflix, Spotify, and other companies. Meanwhile, a new class of deep learning startups has cropped up, giving investors an area to watch closely.Here are a few deep learning startups to pay attention to in the months to come.EnliticThis startup is determined to make an impact on the health care industry. Once its systems have trained on extensive libraries of medical images, Enlitic hopes to provide insight into new medical images that doctors might not necessarily be able to find on their own. The startup has raised a $2 million seed round.Ersatz LabsErsatz provides a general-purpose web service and on-premises software for training a neural network with words, text, and images and then using it to make predictions. The startup also offers hardware companies can buy and run in their own data centers. Ersatz launched in June.MetaMindDuring his time as a Ph.D. student at Stanford University, MetaMind cofounder and chief technology officer Richard Socher crossed deep learning with natural-language processing to develop a method he called a recursive neural network. Now the system is the basis of a startup with seed funding from Salesforce.com chief executive Marc Benioff, among others.Nervana SystemsNervana cofounder and chief executive Naveen Rao has observed the renewed interest in artificial neural networks, and early this year he left his job at chip maker Qualcomm to build deep learning technology, from a cloud software all the way down to specialized server processors. Nervana a $3.3 million round in August.SkymindSkymind is the brainchild of Adam Gibson, who developed the open-source project DeepLearning4j. The idea of Skymind is to provide commercial support for companies that want to use DeepLearning4j and also incorporate deep learning into their Hadoop systems for storing, processing, and analyzing lots of different kinds of data. Skymind launched in June.Deep learning talent is still in limited quantity, so don’t be surprised if some of these startups get swept up before the end of next year.原链接：5 deep learning startups to follow in 2015
我爱机器学习机器学习干货站- 资源相关推荐

50个最佳机器学习公共数据集丨资源
最强数据集集合:50个最佳机器学习公共数据集丨资源 http://192.168.73.132/www.sohu.com/a/273562252_610300 http://baijiahao.bai ...
交通运输相关机器学习/深度学习相关资源列表，关于交通运输场景的机器学习/深度学习的资源这里都有
本文素材来源于GitHub,经本人翻译及整理首发于CSDN,仅供技术交流所用,请勿商用.欢迎大家关注我的公众号: gbxiao992 原文地址:https://github.com/zzsza/Awe ...
蓝桥杯单片机组——榨干选手资源包(STC)
文章目录前言巧用STC STC生成定时器 STC配置定时器(定时器中断) 定时器定时器中断 STC获取数码管码表 STC上升沿下降沿检测其他总结目录前言笔者参加的是第十一届蓝桥杯的单片 ...
统计机器学习(机器学习) 概念
统计机器学习(机器学习) 概念该文章是作者阅读相关书籍和资料后,总结和归纳的一些个人认为有必要整理和了解的知识点介绍.与大家一起分享,如有不妥之处,还望指正. 统计(机器)学习 1．统计学习概念统 ...
蓝桥杯单片机组——榨干选手资源包（芯片数据手册）
文章目录前言 DS18B20 原理图 1-Wire协议简介赛场技巧 DS1302 原理图 SPI协议简介赛场技巧 AT24C02 原理图 IIC协议简介赛场技巧 PCF8591 原理图赛场技 ...
zz机器学习与人工智能学习资源导引
我经常在 TopLanguage 讨论组上推荐一些书籍,也经常问里面的牛人们搜罗一些有关的资料,人工智能.机器学习.自然语言处理.知识发现(特别地,数据挖掘).信息检索这些无疑是 CS 领域最好玩的 ...
我爱机器学习--机器学习方向资料汇总
转载:http://blog.csdn.net/shuimanting520/article/details/45748505 机器学习爱好者资料机器学习领域的几种主要学习方式 From Stump ...
机器学习与数据挖掘网上资源搜罗——良心推荐
前面我曾经发帖推荐过网上的一些做"图像处理和计算机视觉的"有料博客资源,原帖地址图像处理与机器视觉网络资源收罗--倾心大放送 http://blog.csdn.net/baima ...
一份关于机器学习中线性代数学习资源的汇总
摘要: 本文是一份关于机器学习中线性代数学习指南,所给出的资源涵盖维基百科网页.教材.视频等,机器学习从业者可以从中选择合适的资源进行学习. 对于机器学习而言,要学习的特征大多数是以矩阵的形式表示.线 ...
我爱机器学习机器学习干货站- 资源

我爱机器学习机器学习干货站- 资源相关推荐

最新文章

热门文章

我爱机器学习 机器学习干货站- 资源

我爱机器学习 机器学习干货站- 资源相关推荐

最新文章

热门文章

我爱机器学习机器学习干货站- 资源

我爱机器学习机器学习干货站- 资源相关推荐
