吴恩达卷积神经网络笔记,吴恩达深度神经网络

如何评价吴恩达的学术地位

吴恩达(AndrewNg)，斯坦福计算机系的副教授，师从机器学习的大师级人物MichaelI.Jordan。

同门师兄弟包括ZoubinGhahramani,TommiJaakkola,EricXing,DavidBlei,徒子徒孙遍布美国名校，他们这一大学派的主要研究和贡献集中在统计机器学习（StatisticalMachineLearning）和图模型(ProbabilisticGraphicalmodel),具体的比如Spectralclustering,NonparametricBayesianMethods,VariationalMethods等等。

现在图模型和NonparametricBayesianMethods都是机器学习领域炙手可热的研究方向。

MichaelJordan的研究很好的将统计和机器学习联系了起来，将VariationalMethods发扬光大，他也还身兼统计系和计算机系教职。

吴恩达的学术研究兴趣比较广，做的东西有比较理论的，但更多的是理论和应用的结合。

他的一作主要集中在SpectralClustering,UnsupervisedLearning和增强式学习(reinforcementlearning)，机器学习的很多方面都有涉及，比如featureselection，over-fitting，policysearch。

由于做reinforcementlearning和unsupervisedlearning,所以有很多项目是和机器人有关的,他也发起了ROS(RobotOperatingSystem),一个开源的机器人操作系统，影响力很大。

其他的参与的研究就很多了，MichaelJordan那一片的统计机器学习都有参与，在图模型领域也有很多非常优秀论文，比如自然语言处理(NLP)的神器LatentDirchirelntAllocation(LDA)那篇论文他也有贡献。

他现在的研究兴趣主要是深度学习(DeepLearning)，深度学习说白了就是死灰复燃的神经网络(NeuralNetwork),神经网络的一代鼻祖是多伦多大学的GeoffreyHinton。

GeoffreyHinton和吴恩达一起在Google搞深度学习(GoogleBrainProject)，他们俩现在在这一块的论文很多，影响力很大。

总体而言他是顶级的机器学习研究者，在斯坦福是tenuredprofessor已经说明了这点，至于LabDirector，和学术无关，只要是教授都可以成立一个实验室自己当主任(Director)，不要把主任拿过来说事。

更重要的是，他在学术圈内圈外知名度很高！

除了师承之外，还有一个重要原因是他在斯坦福公开课里面主讲机器学习，讲的的确是非常好，在工程界非常受欢迎，后来和DaphneKoller(机器学习界的一姐和大牛，《ProbabilisticGraphicalModels:PrinciplesandTechniques》一书的作者)一起成立了Coursera。

吴恩达对慕课(MOOC)和Coursera的贡献我就不赘述了。

另外吴恩达会说中文，出生于英国，高中毕业于新加坡的RafflesInsitution，本科毕业于卡耐基梅隆大学，硕士在麻省理工，博士毕业于伯克利，早年在香港和英国生活过。

谷歌人工智能写作项目：小发猫

吴恩达的主要成就

吴恩达早期的工作包括斯坦福自动控制直升机项目，吴恩达团队开发了世界上最先进的自动控制直升机之一常见的神经网络结构。

吴恩达同时也是机器学习、机器人技术和相关领域的100多篇论文的作者或合作者，他在计算机视觉的一些工作被一系列的出版物和评论文章所重点引用。

早期的另一项工作是theSTAIR(StanfordArtificialIntelligenceRobot)project，即斯坦福人工智能机器人项目，项目最终开发了广泛使用的开源机器人技术软件平台ROS。

2011年，吴恩达在谷歌成立了“GoogleBrain”项目，这个项目利用谷歌的分布式计算框架计算和学习大规模人工神经网络。

这个项目重要研究成果是，在16000个CPU核心上利用深度学习算法学习到的10亿参数的神经网络，能够在没有任何先验知识的情况下，仅仅通过观看无标注的YouTube的视频学习到识别高级别的概念，如猫，这就是著名的“GoogleCat”。

这个项目的技术已经被应用到了安卓操作系统的语音识别系统上。

吴恩达是在线教育平台Coursera的联合创始人，吴恩达在2008年发起了“StanfordEngineeringEverywhere”（SEE）项目，这个项目把斯坦福的许多课程放到网上，供免费学习。

NG也教了一些课程，如机器学习课程，包含了他录制的视频讲座和斯坦福CS299课程的学生材料。吴恩达的理想是让世界上每个人能够接受高质量的、免费的教育。

今天，Coursera和世界上一些顶尖大学的合作者们一起提供高质量的免费在线课程。Coursera是世界上最大的MOOC平台。

DeepLearningwithCOTSHPCSystemsAdamCoates,BrodyHuval,TaoWang,DavidJ.Wu,BryanCatanzaroandAndrewY.NginICML2013.ParsingwithCompositionalVectorGrammarsJohnBauer,RichardSocher,ChristopherD.Manning,AndrewY.NginACL2013.LearningNewFactsFromKnowledgeBasesWithNeuralTensorNetworksandSemanticWordVectorsDanqiChen,RichardSocher,ChristopherD.Manning,AndrewY.NginICLR2013.Convolutional-RecursiveDeepLearningfor3DObjectClassification.RichardSocher,BrodyHuval,BharathBhat,ChristopherD.Manning,AndrewY.NginNIPS2012.ImprovingWordRepresentationsviaGlobalContextandMultipleWordPrototypesEricH.Huang,RichardSocher,ChristopherD.ManningandAndrewY.NginACL2012.LargeScaleDistributedDeepNetworks.J.Dean,G.S.Corrado,R.Monga,K.Chen,M.Devin,Q.V.Le,M.Z.Mao,M.A.Ranzato,A.Senior,P.Tucker,K.Yang,A.Y.NginNIPS2012.RecurrentNeuralNetworksforNoiseReductioninRobustASR.A.L.Maas,Q.V.Le,T.M.O'Neil,O.Vinyals,P.Nguyen,andAndrewY.NginInterspeech2012.Word-levelAcousticModelingwithConvolutionalVectorRegressionLearningWorkshopAndrewL.Maas,StephenD.Miller,TylerM.O'Neil,AndrewY.Ng,andPatrickNguyeninICML2012.EmergenceofObject-SelectiveFeaturesinUnsupervisedFeatureLearning.AdamCoates,AndrejKarpathy,andAndrewY.NginNIPS2012.DeepLearningofInvariantFeaturesviaSimulatedFixationsinVideoWillY.Zou,ShenghuoZhu,AndrewY.Ng,KaiYuinNIPS2012.LearningFeatureRepresentationswithK-means.AdamCoatesandAndrewY.NginNeuralNetworks:TricksoftheTrade,Reloaded,SpringerLNCS2012.BuildingHigh-LevelFeaturesusingLargeScaleUnsupervisedLearningQuocV.Le,Marc'AurelioRanzato,RajatMonga,MatthieuDevin,KaiChen,GregS.Corrado,JeffreyDeanandAndrewY.NginICML2012.SemanticCompositionalitythroughRecursiveMatrix-VectorSpacesRichardSocher,BrodyHuval,ChristopherD.ManningandAndrewY.NginEMNLP2012.End-to-EndTextRecognitionwithConvolutionalNeuralNetworksTaoWang,DavidJ.Wu,AdamCoatesandAndrewY.NginICPR2012.SelectingReceptiveFieldsinDeepNetworksAdamCoatesandAndrewY.NginNIPS2011.ICAwithReconstructionCostforEfficientOvercompleteFeatureLearningQuocV.Le,AlexKarpenko,JiquanNgiamandAndrewY.NginNIPS2011.SparseFilteringJiquanNgiam,PangweiKoh,ZhenghaoChen,SoniaBhaskarandAndrewY.NginNIPS2011.UnsupervisedLearningModelsofPrimaryCorticalReceptiveFieldsandReceptiveFieldPlasticityAndrewSaxe,ManeeshBhand,RitvikMudur,BipinSureshandAndrewY.NginNIPS2011.DynamicPoolingandUnfoldingRecursiveAutoencodersforParaphraseDetectionRichardSocher,EricH.Huang,JeffreyPennington,AndrewY.Ng,andChristopherD.ManninginNIPS2011.Semi-SupervisedRecursiveAutoencodersforPredictingSentimentDistributionsRichardSocher,JeffreyPennington,EricHuang,AndrewY.Ng,andChristopherD.ManninginEMNLP2011.TextDetectionandCharacterRecognitioninSceneImageswithUnsupervisedFeatureLearningAdamCoates,BlakeCarpenter,CarlCase,SanjeevSatheesh,BipinSuresh,TaoWang,DavidWuandAndrewY.NginICDAR2011.ParsingNaturalScenesandNaturalLanguagewithRecursiveNeuralNetworksRichardSocher,CliffLin,AndrewY.NgandChristopherManninginICML2011.TheImportanceofEncodingVersusTrainingwithSparseCodingandVectorQuantizationAdamCoatesandAndrewY.NginICML2011.OnOptimizationMethodsforDeepLearningQuocV.Le,JiquanNgiam,AdamCoates,AbhikLahiri,BobbyProchnowandAndrewY.NginICML2011.LearningDeepEnergyModelsJiquanNgiam,ZhenghaoChen,PangweiKohandAndrewY.NginICML2011.MultimodalDeepLearningJiquanNgiam,AdityaKhosla,MingyuKim,JuhanNam,HonglakLeeandAndrewY.NginICML2011.OnRandomWeightsandUnsupervisedFeatureLearningAndrewSaxe,PangweiKoh,ZhenghaoChen,ManeeshBhand,BipinSureshandAndrewY.NginICML2011.LearningHierarchicalSpatio-TemporalFeaturesforActionRecognitionwithIndependentSubspaceAnalysisQuocV.Le,WillZou,SerenaYeungandAndrewY.NginCVPR2011.AnAnalysisofSingle-LayerNetworksinUnsupervisedFeatureLearningAdamCoates,HonglakLeeandAndrewNginAISTATS14,2011.LearningWordVectorsforSentimentAnalysisAndrewL.Maas,RaymondE.Daly,PeterT.Pham,DanHuang,AndrewY.Ng,andChristopherPottsinACL2011.ALow-costCompliant7-DOFRoboticManipulatorMorganQuigley,AlanAsbeckandAndrewY.NginICRA2011.GraspingwithApplicationtoanAutonomousCheckoutRobotEllenKlingbeil,DeepakDrao,BlakeCarpenter,VarunGanapathi,OussamaKhatib,AndrewY.NginICRA2011.AutonomousSignReadingforSemanticMappingCarlCase,BipinSuresh,AdamCoatesandAndrewY.NginICRA2011.LearningContinuousPhraseRepresentationsandSyntacticParsingwithRecursiveNeuralNetworksRichardSocher,ChristopherManningandAndrewNginNIPS2010.AProbabilisticModelforSemanticWordVectorsAndrewMaasandAndrewNginNIPS2010.TiledConvolutionalNeuralNetworksQuocV.Le,JiquanNgiam,ZhenghaoChen,DanielChia,PangweiKohandAndrewY.NginNIPS2010.EnergyDisaggregationviaDiscriminativeSparseCodingJ.ZicoKolterandAndrewY.NginNIPS2010.AutonomousHelicopterAerobaticsthroughApprenticeshipLearningPieterAbbeel,AdamCoatesandAndrewY.NginIJRR2010.AutonomousOperationofNovelElevatorsforRobotNavigationEllenKlingbeil,BlakeCarpenter,OlgaRussakovskyandAndrewY.NginICRA2010.LearningtoGraspObjectswithMultipleContactPointsQuocLe,DavidKammandAndrewY.NginICRA2010.Multi-CameraObjectDetectionforRoboticsAdamCoatesandAndrewY.NginICRA2010.AProbabilisticApproachtoMixedOpen-loopandClosed-loopControl,withApplicationtoExtremeAutonomousDrivingJ.ZicoKolter,ChristianPlagemann,DavidT.Jackson,AndrewY.NgandSebastianThruninICRA2010.GraspingNovelObjectswithDepthSegmentationDeepakRao,QuocV.Le,ThanathornPhoka,MorganQuigley,AttawithSudsandandAndrewY.NginIROS2010.Low-costAccelerometersforRoboticManipulatorPerceptionMorganQuigley,ReubenBrewer,SaiP.Soundararaj,VijayPradeep,QuocV.LeandAndrewY.NginIROS2010.ASteinerTreeApproachtoObjectDetectionOlgaRussakovskyandAndrewY.NginCVPR2010.MeasuringInvariancesinDeepNetworksIanJ.Goodfellow,QuocV.Le,AndrewM.Saxe,HonglakLeeandAndrewY.NginNIPS2009.UnsupervisedFeatureLearningforAudioClassificationUsingConvolutionalDeepBeliefNetworksHonglakLee,YanLargman,PeterPhamandAndrewY.NginNIPS2009.ConvolutionalDeepBeliefNetworksforScalableUnsupervisedLearningofHierarchicalRepresentationsHonglakLee,RogerGrosse,RajeshRanganathandAndrewY.NginICML2009.Large-scaleDeepUnsupervisedLearningusingGraphicsProcessorsRajatRaina,AnandMadhavanandAndrewY.NginICML2009.Amajorization-minimizationalgorithmfor(multiple)hyperparameterlearningChuanShengFoo,ChuongDoandAndrewY.NginICML2009.RegularizationandFeatureSelectioninLeast-SquaresTemporalDifferenceLearningJ.ZicoKolterandAndrewY.NginICML2009.Near-BayesianExplorationinPolynomialTimeJ.ZicoKolterandAndrewY.NginICML2009.PolicySearchviatheSignedDerivativeJ.ZicoKolterandAndrewY.NginRSS2009.JointCalibrationofMultipleSensorsQuocLeandAndrewY.NginIROS2009.ScalableLearningforObjectDetectionwithGPUHardwareAdamCoates,PaulBaumstarck,QuocLe,andAndrewY.NginIROS2009.ExponentialFamilySparseCodingwithApplicationtoSelf-taughtLearningHonglakLee,RajatRaina,AlexTeichmanandAndrewY.NginIJCAI2009.ApprenticeshipLearningforHelicopterControlAdamCoates,PieterAbbeelandAndrewY.NginCommunicationsoftheACM,Volume52,2009.ROS:AnOpen-SourceRobotOperatingSystemMorganQuigley,BrianGerkey,KenConley,JoshFaust,TullyFoote,JeremyLeibs,EricBerger,RobWheeler,andAndrewY.NginICRA2009.High-Accuracy3DSensingforMobileManipulation:ImprovingObjectDetectionandDoorOpeningMorganQuigley,SiddharthBatra,StephenGould,EllenKlingbeil,QuocLe,AshleyWellmanandAndrewY.NginICRA2009.StereoVisionandTerrainModelingforQuadrupedRobotsJ.ZicoKolter,YoungjunKimandAndrewY.NginICRA2009.Task-SpaceTrajectoriesviaCubicSplineOptimizationJ.ZicoKolterandAndrewY.NginICRA2009.LearningSoundLocationfromaSingleMicrophoneAshutoshSaxenaandAndrewY.NginICRA2009.Learning3-DObjectOrientationfromImagesAshutoshSaxena,JustinDriemeyerandAndrewY.NginICRA2009.ReactiveGraspingUsingOpticalProximitySensorsKaijenHsiao,PaulNangeroni,ManfredHuber,AshutoshSaxenaandAndrewY.NginICRA2009。

吴恩达在百度是什么职位？

吴恩达（AndrewNg），华裔美国人，斯坦福大学计算机科学系和电子工程系副教授，人工智能实验室主任，百度公司首席科学家。

吴恩达是人工智能和机器学习领域国际上最权威的学者之一，也是在线教育平台Coursera的联合创始人（withDaphneKoller）。

2011年，吴恩达在Google创建GoogleBrain项目，以通过分布式集群计算机开发超大规模的人工神经网络。

2014年5月16日，吴恩达加入百度，负责“百度大脑”计划，同时担任百度公司首席科学家。2015年6月5日，吴恩达暂任百度深度学习实验室（IDL）的ActingDirector职务。

2017年3月22日，百度首席科学家吴恩达宣布将离职。

一篇文章搞懂人工智能，机器学习和深度学习之间的区别

为了搞清三者关系，我们来看一张图：如图所示：人工智能最大，此概念也最先问世；然后是机器学习，出现的稍晚；最后才是深度学习。

从低潮到繁荣自从1956年计算机科学家们在达特茅斯会议（DartmouthConferences）上确认人工智能这个术语以来，人们就不乏关于人工智能奇思妙想，研究人员也在不遗余力地研究。

在此后的几十年间，人工智能先是被捧为人类文明光明未来的钥匙，后又被当作过于自大的异想天开而抛弃。但是在过去几年中，人工智能出现了爆炸式的发展，尤其是2015年之后。

大部分原因，要归功于图形处理器（GPU）的广泛应用，使得并行处理更快、更便宜、更强大。

另外，人工智能的发展还得益于几乎无限的存储空间和海量数据的出现（大数据运动）：图像、文本、交易数据、地图数据，应有尽有。下面我们从发展的历程中来一一展开对人工智能、机器学习和深度学习的深度学习。

人工智能人工智能先驱们在达特茅斯开会时，心中的梦想是希望通过当时新兴的计算机，打造拥有相当于人类智能的复杂机器。

这就是我们所说的“通用人工智能”（GeneralAI）概念，拥有人类五感（甚至更多）、推理能力以及人类思维方式的神奇机器。

在电影中我们已经看过无数这样的机器人，对人类友好的C-3PO，以及人类的敌人终结者。通用人工智能机器至今只存在于电影和科幻小说里，理由很简单：我们还实现不了，至少目前为止。

我们力所能及的，算是“弱人工智能”（NarrowAI）：执行特定任务的水平与人类相当，甚至超越人类的技术。现实中有很多弱人工智能的例子。这些技术有人类智能的一面。但是它们是如何做到的？智能来自哪里？

这就涉及到下一个同心圆：机器学习。机器学习机器学习是实现人工智能的一种方法。机器学习的概念来自早期的人工智能研究者，已经研究出的算法包括决策树学习、归纳逻辑编程、增强学习和贝叶斯网络等。

简单来说，机器学习就是使用算法分析数据，从中学习并做出推断或预测。与传统的使用特定指令集手写软件不同，我们使用大量数据和算法来“训练”机器，由此带来机器学习如何完成任务。

许多年来，计算机视觉一直是机器学习最佳的领用领域之一，尽管还需要大量的手动编码才能完成任务。

研究者会手动编写一些分类器（classifier），如边缘检测筛选器，帮助程序辨别物体的边界；图形检测分类器，判断物体是否有八个面；以及识别“S-T-O-P”的分类器。

在这些手动编写的分类器的基础上，他们再开发用于理解图像的算法，并学习如何判断是否有停止标志。但是由于计算机视觉和图像检测技术的滞后，经常容易出错。深度学习深度学习是实现机器学习的一种技术。

早期机器学习研究者中还开发了一种叫人工神经网络的算法，但是发明之后数十年都默默无闻。神经网络是受人类大脑的启发而来的：神经元之间的相互连接关系。

但是，人类大脑中的神经元可以与特定范围内的任意神经元连接，而人工神经网络中数据传播要经历不同的层，传播方向也不同。举个例子，你可以将一张图片切分为小块，然后输入到神经网络的第一层中。

在第一层中做初步计算，然后神经元将数据传至第二层。由第二层神经元执行任务，依次类推，直到最后一层，然后输出最终的结果。每个神经元都会给其输入指定一个权重：相对于执行的任务该神经元的正确和错误程度。

最终的输出由这些权重共同决定。因此，我们再来看看上面提到的停止标志示例。一张停止标志图像的属性，被一一细分，然后被神经元“检查”：形状、颜色、字符、标志大小和是否运动。

神经网络的任务是判断这是否是一个停止标志。它将给出一个“概率向量”（probabilityvector），这其实是基于权重做出的猜测结果。

在本文的示例中，系统可能会有86%的把握认定图像是一个停止标志，7%的把握认为是一个限速标志，等等。网络架构然后会告知神经网络其判断是否正确。

不过，问题在于即使是最基础的神经网络也要耗费巨大的计算资源，因此当时不算是一个可行的方法。

不过，以多伦多大学GeoffreyHinton教授为首的一小批狂热研究者们坚持采用这种方法，最终让超级计算机能够并行执行该算法，并证明该算法的作用。

如果我们回到停止标志那个例子，很有可能神经网络受训练的影响，会经常给出错误的答案。这说明还需要不断的训练。

它需要成千上万张图片，甚至数百万张图片来训练，直到神经元输入的权重调整到非常精确，几乎每次都能够给出正确答案。

不过值得庆幸的是Facebook利用神经网络记住了你母亲的面孔；吴恩达2012年在谷歌实现了可以识别猫的神经网络。

如今，在某些情况下，通过深度学习训练过的机器在图像识别上表现优于人类，这包括找猫、识别血液中的癌症迹象等。谷歌的AlphaGo学会了围棋，并为比赛进行了大量的训练：不断的和自己比赛。

总结人工智能的根本在于智能，而机器学习则是部署支持人工智能的计算方法。简单的将，人工智能是科学，机器学习是让机器变得更加智能的算法，机器学习在某种程度上成就了人工智能。

本文作者MichaelCopeland曾是WIRED编辑，现在是硅谷知名投资机构AndreessenHorowitz的合伙人。

人工智能，机器学习与深度学习，到底是什么关系

有人说，人工智能（AI）是未来，人工智能是科幻，人工智能也是我们日常生活中的一部分。这些评价可以说都是正确的，就看你指的是哪一种人工智能。

今年早些时候，GoogleDeepMind的AlphaGo打败了韩国的围棋大师李世乭九段。

在媒体描述DeepMind胜利的时候，将人工智能（AI）、机器学习（machinelearning）和深度学习（deeplearning）都用上了。

这三者在AlphaGo击败李世乭的过程中都起了作用，但它们说的并不是一回事。今天我们就用最简单的方法——同心圆，可视化地展现出它们三者的关系和应用。

向左转|向右转如上图，人工智能是最早出现的，也是最大、最外侧的同心圆；其次是机器学习，稍晚一点；最内侧，是深度学习，当今人工智能大爆炸的核心驱动。五十年代，人工智能曾一度被极为看好。

之后，人工智能的一些较小的子集发展了起来。先是机器学习，然后是深度学习。深度学习又是机器学习的子集。深度学习造成了前所未有的巨大的影响。

从概念的提出到走向繁荣1956年，几个计算机科学家相聚在达特茅斯会议（DartmouthConferences），提出了“人工智能”的概念。

其后，人工智能就一直萦绕于人们的脑海之中，并在科研实验室中慢慢孵化。之后的几十年，人工智能一直在两极反转，或被称作人类文明耀眼未来的预言；或者被当成技术疯子的狂想扔到垃圾堆里。

坦白说，直到2012年之前，这两种声音还在同时存在。过去几年，尤其是2015年以来，人工智能开始大爆发。很大一部分是由于GPU的广泛应用，使得并行计算变得更快、更便宜、更有效。

当然，无限拓展的存储能力和骤然爆发的数据洪流（大数据）的组合拳，也使得图像数据、文本数据、交易数据、映射数据全面海量爆发。

让我们慢慢梳理一下计算机科学家们是如何将人工智能从最早的一点点苗头，发展到能够支撑那些每天被数亿用户使用的应用的。

| 人工智能（ArtificialIntelligence）——为机器赋予人的智能向左转|向右转早在1956年夏天那次会议，人工智能的先驱们就梦想着用当时刚刚出现的计算机来构造复杂的、拥有与人类智慧同样本质特性的机器。

这就是我们现在所说的“强人工智能”（GeneralAI）。这个无所不能的机器，它有着我们所有的感知（甚至比人更多），我们所有的理性，可以像我们一样思考。

人们在电影里也总是看到这样的机器：友好的，像星球大战中的C-3PO；邪恶的，如终结者。强人工智能现在还只存在于电影和科幻小说中，原因不难理解，我们还没法实现它们，至少目前还不行。

我们目前能实现的，一般被称为“弱人工智能”（NarrowAI）。弱人工智能是能够与人一样，甚至比人更好地执行特定任务的技术。例如，Pinterest上的图像分类；或者Facebook的人脸识别。

这些是弱人工智能在实践中的例子。这些技术实现的是人类智能的一些具体的局部。但它们是如何实现的？这种智能是从何而来？这就带我们来到同心圆的里面一层，机器学习。

| 机器学习——一种实现人工智能的方法向左转|向右转机器学习最基本的做法，是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。

与传统的为解决特定任务、硬编码的软件程序不同，机器学习是用大量的数据来“训练”，通过各种算法从数据中学习如何完成任务。机器学习直接来源于早期的人工智能领域。

传统算法包括决策树学习、推导逻辑规划、聚类、强化学习和贝叶斯网络等等。众所周知，我们还没有实现强人工智能。早期机器学习方法甚至都无法实现弱人工智能。

机器学习最成功的应用领域是计算机视觉，虽然也还是需要大量的手工编码来完成工作。

人们需要手工编写分类器、边缘检测滤波器，以便让程序能识别物体从哪里开始，到哪里结束；写形状检测程序来判断检测对象是不是有八条边；写分类器来识别字母“ST-O-P”。

使用以上这些手工编写的分类器，人们总算可以开发算法来感知图像，判断图像是不是一个停止标志牌。这个结果还算不错，但并不是那种能让人为之一振的成功。

特别是遇到云雾天，标志牌变得不是那么清晰可见，又或者被树遮挡一部分，算法就难以成功了。这就是为什么前一段时间，计算机视觉的性能一直无法接近到人的能力。它太僵化，太容易受环境条件的干扰。

随着时间的推进，学习算法的发展改变了一切。

| 深度学习——一种实现机器学习的技术向左转|向右转人工神经网络（ArtificialNeuralNetworks）是早期机器学习中的一个重要的算法，历经数十年风风雨雨。

神经网络的原理是受我们大脑的生理结构——互相交叉相连的神经元启发。但与大脑中一个神经元可以连接一定距离内的任意神经元不同，人工神经网络具有离散的层、连接和数据传播的方向。

例如，我们可以把一幅图像切分成图像块，输入到神经网络的第一层。在第一层的每一个神经元都把数据传递到第二层。第二层的神经元也是完成类似的工作，把数据传递到第三层，以此类推，直到最后一层，然后生成结果。

每一个神经元都为它的输入分配权重，这个权重的正确与否与其执行的任务直接相关。最终的输出由这些权重加总来决定。我们仍以停止（Stop）标志牌为例。

将一个停止标志牌图像的所有元素都打碎，然后用神经元进行“检查”：八边形的外形、救火车般的红颜色、鲜明突出的字母、交通标志的典型尺寸和静止不动运动特性等等。

神经网络的任务就是给出结论，它到底是不是一个停止标志牌。神经网络会根据所有权重，给出一个经过深思熟虑的猜测——“概率向量”。

这个例子里，系统可能会给出这样的结果：86%可能是一个停止标志牌；7%的可能是一个限速标志牌；5%的可能是一个风筝挂在树上等等。然后网络结构告知神经网络，它的结论是否正确。

即使是这个例子，也算是比较超前了。直到前不久，神经网络也还是为人工智能圈所淡忘。其实在人工智能出现的早期，神经网络就已经存在了，但神经网络对于“智能”的贡献微乎其微。

主要问题是，即使是最基本的神经网络，也需要大量的运算。神经网络算法的运算需求难以得到满足。

不过，还是有一些虔诚的研究团队，以多伦多大学的GeoffreyHinton为代表，坚持研究，实现了以超算为目标的并行算法的运行与概念证明。但也直到GPU得到广泛应用，这些努力才见到成效。

我们回过头来看这个停止标志识别的例子。神经网络是调制、训练出来的，时不时还是很容易出错的。它最需要的，就是训练。

需要成百上千甚至几百万张图像来训练，直到神经元的输入的权值都被调制得十分精确，无论是否有雾，晴天还是雨天，每次都能得到正确的结果。

只有这个时候，我们才可以说神经网络成功地自学习到一个停止标志的样子；或者在Facebook的应用里，神经网络自学习了你妈妈的脸；又或者是2012年吴恩达（AndrewNg）教授在Google实现了神经网络学习到猫的样子等等。

吴教授的突破在于，把这些神经网络从基础上显著地增大了。层数非常多，神经元也非常多，然后给系统输入海量的数据，来训练网络。在吴教授这里，数据是一千万YouTube视频中的图像。

吴教授为深度学习（deeplearning）加入了“深度”（deep）。这里的“深度”就是说神经网络中众多的层。

现在，经过深度学习训练的图像识别，在一些场景中甚至可以比人做得更好：从识别猫，到辨别血液中癌症的早期成分，到识别核磁共振成像中的肿瘤。

Google的AlphaGo先是学会了如何下围棋，然后与它自己下棋训练。它训练自己神经网络的方法，就是不断地与自己下棋，反复地下，永不停歇。

| 深度学习，给人工智能以璀璨的未来深度学习使得机器学习能够实现众多的应用，并拓展了人工智能的领域范围。深度学习摧枯拉朽般地实现了各种任务，使得似乎所有的机器辅助功能都变为可能。

无人驾驶汽车，预防性医疗保健，甚至是更好的电影推荐，都近在眼前，或者即将实现。人工智能就在现在，就在明天。有了深度学习，人工智能甚至可以达到我们畅想的科幻小说一般。

你的C-3PO我拿走了，你有你的终结者就好了。

深度解析人工智能，机器学习和深度学习的区别

今年早些时候，GoogleDeepMind的AlphaGo打败了韩国的围棋大师李世乭九段。

在媒体描述DeepMind胜利的时候，将人工智能（AI）、机器学习（machinelearning）和深度学习（deeplearning）都用上了。

人工智能、机器学习和深度学习之间的区别和联系如上图，人工智能是最早出现的，也是最大、最外侧的同心圆；其次是机器学习，稍晚一点；最内侧，是深度学习，当今人工智能大爆炸的核心驱动。

五十年代，人工智能曾一度被极为看好。之后，人工智能的一些较小的子集发展了起来。先是机器学习，然后是深度学习。深度学习又是机器学习的子集。深度学习造成了前所未有的巨大的影响。

|从概念的提出到走向繁荣1956年，几个计算机科学家相聚在达特茅斯会议（DartmouthConferences），提出了“人工智能”的概念。

当然，无限拓展的存储能力和骤然爆发的数据洪流（大数据）的组合拳，也使得图像数据、文本数据、交易数据、映射数据全面海量爆发。

让我们慢慢梳理一下计算机科学家们是如何将人工智能从最早的一点点苗头，发展到能够支撑那些每天被数亿用户使用的应用的。

|人工智能（ArtificialIntelligence）——为机器赋予人的智能人工智能、机器学习和深度学习之间的区别和联系早在1956年夏天那次会议，人工智能的先驱们就梦想着用当时刚刚出现的计算机来构造复杂的、拥有与人类智慧同样本质特性的机器。

|机器学习——一种实现人工智能的方法人工智能、机器学习和深度学习之间的区别和联系机器学习最基本的做法，是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。

机器学习最成功的应用领域是计算机视觉，虽然也还是需要大量的手工编码来完成工作。

随着时间的推进，学习算法的发展改变了一切。

|深度学习——一种实现机器学习的技术人工智能、机器学习和深度学习之间的区别和联系人工神经网络（ArtificialNeuralNetworks）是早期机器学习中的一个重要的算法，历经数十年风风雨雨。

神经网络的任务就是给出结论，它到底是不是一个停止标志牌。神经网络会根据所有权重，给出一个经过深思熟虑的猜测——“概率向量”。

主要问题是，即使是最基本的神经网络，也需要大量的运算。神经网络算法的运算需求难以得到满足。

我们回过头来看这个停止标志识别的例子。神经网络是调制、训练出来的，时不时还是很容易出错的。它最需要的，就是训练。

需要成百上千甚至几百万张图像来训练，直到神经元的输入的权值都被调制得十分精确，无论是否有雾，晴天还是雨天，每次都能得到正确的结果。

吴教授为深度学习（deeplearning）加入了“深度”（deep）。这里的“深度”就是说神经网络中众多的层。

Google的AlphaGo先是学会了如何下围棋，然后与它自己下棋训练。它训练自己神经网络的方法，就是不断地与自己下棋，反复地下，永不停歇。

|深度学习，给人工智能以璀璨的未来深度学习使得机器学习能够实现众多的应用，并拓展了人工智能的领域范围。深度学习摧枯拉朽般地实现了各种任务，使得似乎所有的机器辅助功能都变为可能。

你的C-3PO我拿走了，你有你的终结者就好了。

人工智能，机器学习和深度学习之间的区别和联系

今年早些时候，GoogleDeepMind的AlphaGo打败了韩国的围棋大师李世乭九段。

在媒体描述DeepMind胜利的时候，将人工智能（AI）、机器学习（machinelearning）和深度学习（deeplearning）都用上了。

如上图，人工智能是最早出现的，也是最大、最外侧的同心圆；其次是机器学习，稍晚一点；最内侧，是深度学习，当今人工智能大爆炸的核心驱动。五十年代，人工智能曾一度被极为看好。

从概念的提出到走向繁荣1956年，几个计算机科学家相聚在达特茅斯会议（DartmouthConferences），提出了“人工智能”的概念。

当然，无限拓展的存储能力和骤然爆发的数据洪流（大数据）的组合拳，也使得图像数据、文本数据、交易数据、映射数据全面海量爆发。

让我们慢慢梳理一下计算机科学家们是如何将人工智能从最早的一点点苗头，发展到能够支撑那些每天被数亿用户使用的应用的。

| 人工智能（ArtificialIntelligence）——为机器赋予人的智能早在1956年夏天那次会议，人工智能的先驱们就梦想着用当时刚刚出现的计算机来构造复杂的、拥有与人类智慧同样本质特性的机器。

| 机器学习——一种实现人工智能的方法机器学习最基本的做法，是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。

机器学习最成功的应用领域是计算机视觉，虽然也还是需要大量的手工编码来完成工作。

随着时间的推进，学习算法的发展改变了一切。

| 深度学习——一种实现机器学习的技术人工神经网络（ArtificialNeuralNetworks）是早期机器学习中的一个重要的算法，历经数十年风风雨雨。

神经网络的任务就是给出结论，它到底是不是一个停止标志牌。神经网络会根据所有权重，给出一个经过深思熟虑的猜测——“概率向量”。

主要问题是，即使是最基本的神经网络，也需要大量的运算。神经网络算法的运算需求难以得到满足。

我们回过头来看这个停止标志识别的例子。神经网络是调制、训练出来的，时不时还是很容易出错的。它最需要的，就是训练。

需要成百上千甚至几百万张图像来训练，直到神经元的输入的权值都被调制得十分精确，无论是否有雾，晴天还是雨天，每次都能得到正确的结果。

吴教授为深度学习（deeplearning）加入了“深度”（deep）。这里的“深度”就是说神经网络中众多的层。

Google的AlphaGo先是学会了如何下围棋，然后与它自己下棋训练。它训练自己神经网络的方法，就是不断地与自己下棋，反复地下，永不停歇。

你的C-3PO我拿走了，你有你的终结者就好了。

深度学习和机器学习的区别是什么

1、机器学习是一种实现人工智能的方法，深度学习是一种实现机器学习的技术。2、深度学习本来并不是一种独立的学习方法，其本身也会用到有监督和无监督的学习方法来训练深度神经网络。

但由于近几年该领域发展迅猛，一些特有的学习手段相继被提出（如残差网络），因此越来越多的人将其单独看作一种学习的方法。

3、机器学习最基本的做法，是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。

与传统的为解决特定任务、硬编码的软件程序不同，机器学习是用大量的数据来“训练”，通过各种算法从数据中学习如何完成任务。

拓展资料：1、机器学习直接来源于早期的人工智能领域，传统的算法包括决策树、聚类、贝叶斯分类、支持向量机、EM、Adaboost等等。

从学习方法上来分，机器学习算法可以分为监督学习（如分类问题）、无监督学习（如聚类问题）、半监督学习、集成学习、深度学习和强化学习。

传统的机器学习算法在指纹识别、基于Haar的人脸检测、基于HoG特征的物体检测等领域的应用基本达到了商业化的要求或者特定场景的商业化水平，但每前进一步都异常艰难，直到深度学习算法的出现。

2、最初的深度学习是利用深度神经网络来解决特征表达的一种学习过程。深度神经网络本身并不是一个全新的概念，可大致理解为包含多个隐含层的神经网络结构。

为了提高深层神经网络的训练效果，人们对神经元的连接方法和激活函数等方面做出相应的调整。其实有不少想法早年间也曾有过，但由于当时训练数据量不足、计算能力落后，因此最终的效果不尽如人意。

深度学习摧枯拉朽般地实现了各种任务，使得似乎所有的机器辅助功能都变为可能。无人驾驶汽车，预防性医疗保健，甚至是更好的电影推荐，都近在眼前，或者即将实现。

如何使用深度学习开发人工智能应用

如何使用深度学习开发人工智能应用在为工业界的从业者带来理念更新的同时，吴恩达还对自己在人工智能领域的人生经验进行分享。

“我从没试过一次就得出正确的模型架构”吴恩达对自己经历的朴实客观分享，让在场的很多从业者不仅获得技术指导更如同吃了“定心丸”。

NIPS(AdvancesinNeuralInformationProcessingSystems)中文名为“神经信息处理系统进展大会”，是每年12月由NIPS基金会主办的机器学习和神经计算领域的顶级会议，在机器学习领域有着举足轻重的学术影响力。

随着人工智能的高速发展，2016年NIPS的讨论焦点也集中在机器学习与人工智能，并邀请YannLeCun(Facebook人工智能研究室FAIR负责人)、IrinaRish(IBMWatson研究中心成员)等国际专家参与。

其中，百度首席科学家、斯坦福大学计算机科学系和电子工程系副教授吴恩达参与大会教程(tutorial)环节，人气颇高。

由于神经网络(NN)可以扩大规模(scale)，甚至是可以无限地扩展，深度学习成为人工智能领域未来发展的大潮流。

对此，吴恩达认为没有人能做到在系统构架(底层)与深度学习(算法)方面都是专家，并针对深度学习技术创业公司的团队建设，分享了其在百度的架构经验。

在深度学习大潮中，端到端学习成为近几年的技术风口，随着技术发展，更纯粹的端对端学习成为了可能。但由于缺少足够大的训练集，直接的端对端学习也有不太奏效的时候。

作为人工智能成果的集大成者，无人车在机器学习领域仍有很大发展空间，吴恩达在演讲中描述了无人驾驶的传统模型：通过图片观测附近的车(cars)与行人(pedestrians)，计算出该有的路径规划(plan)，然后通过公式/规则判断出应该进行的下一步行动(steering)，如果可以直接把图片处理成最终的操作指令可以指数级提高反应速度，带来效率提升。

吴恩达认为，很多企业都没有正确对待训练集误差、人类误差值、测试集误差，三者之间的关系，而在数据合成方面，很多公司又“总想搞个大新闻”。

他建议企业使用unifieddatawarehouse(统一化的数据中心)，让数据科学家可以“安心的玩数据”。

并分享了基于人类误差、训练集误差，训练-开发集误差、开发集误差、测试集误差五类误差值的新的处理策略。

在演讲的最后，吴恩达提出了对人工智能的展望，他认为由于现有的有标签数据还远没有被发掘完毕，supervisedlearning(监督学习)将继续快速发展下去，同时unsupervisedlearning(无监督学习)、reinforcementlearning(强化学习)、transferlearning(迁移学习)也将在未来起步。

同时，吴恩达也对现场的从业者提出更具实用性的经验：人工智能产品经理需要选择工程师应该关注的重点，从而让数据集能更准确地模拟出应用场景，简单来说就是寻找用户需求与当今机器学习技术的能力的交集。