深度学习概述-神经网络与深度学习学习笔记（一）
神经网络与深度学习学习笔记（一）
标签（空格分隔）： 深度学习
最近在学习复旦邱锡鹏老师的《神经网络与深度学习》，并对书中推荐的论文进行了阅读。感觉这本书对深度学习讲解得很好，即有全面严谨的讲述，也有高屋建瓴的理解。
本文的行文结构是按邱老师的书籍结构来的，并结合自己的理解总结了书籍中的相关要点，想要对神经网络和深度学习有更好了解的，推荐大家看邱老师写的《神经网络与深度学习》。
原文地址：http://blog.csdn.net/qq_31456593/article/details/77623438
1.1人工智能
人工智能就是让机器具有人类的智能，阿兰图灵给出了一个判断人工智能的标准：“如果一个人在不接触对方的条件下，通过一定途径与对方进行一系列问答，如在一段较长的时间内，这个人无法判断对方是人还是计算机，那么就可以认为该计算机拥有智能”
人工智能诞生的标志是，1956年达特茅斯会议，Jonh对人工智能做出了定义–“人工智能就是让机器的行为看起来就像人表现出的智能行为一样”
人工智能分为以下部分：
感知：智能系统如何对外界刺激信号进行感知和处理。其中包括计算机视觉和语音识别
学习：即机器学习，如何从样例中学习，包括监督学习、非监督学习、强化学习
自然语言处理:自然语言理解和自然语言生成
推理和决策：知识标准，推理规划，决策
1.1.1人工智能发展史
推理期：基于逻辑或事实归纳出一套规则，然后编写程序让计算机来执行任务。
知识期：基于知识库和推理机的专家系统
学习期：设计分析一些算法，让计算机从数据中自动获得规律，并利用规律对未知数据进行预测，即机器学习
1.2神经网络
大脑神经网络：由亿万神经元相互连接构成，神经元由细胞体和突触构成，细胞体有兴奋和抑制2种状态，突触包括树突和轴突，树突可以接受刺激，传入兴奋，轴突可以传出兴奋。突触就是用来传递兴奋的。
如果神经元A的突触离神经元B很近，足以能对其产生影响，并持续重复参与B的兴奋，那么两个神经元或其中之一就会发送某种生长过程或形成代谢，以至于A能作为能使B兴奋的细胞之一,其效能增加。这个机制叫赫布理论。
如果A,B总是相关联的收到刺激，它们突触的强度就会增强，这样的学习叫赫布型学习。
人工神经网络：多个节点连接而成，用来对数据的复杂关系建模，不同节点的连接代表着不同的权重，表示表示一个神经元对另一个神经元的影响大小。每个节点代表一种函数，将其它神经元信息经过相应权重，综合计算输出到激活函数得到一个活性值（兴奋或抑制）。从系统角度看，人工神经网络是大量神经元通过丰富完善的连接构成的自适应非线性系统。
人工神经网络可以看作一个通用的函数逼近器，人工神经网络可以塑造任何函数的能力大小叫做容量，与可以存储到网络中的信息的数量和复杂性相关。
1.2.1神经网络发展历史
一、模型提出：
1943年，Warren和Walter提出MP模型
1948年，图灵在在论文中描述B型图灵机，研究人员将赫布型学习的思想应用到B型图灵机。
1951年，Marvin建造了第一台神经网络机，叫SNARC
1956年，Rosenblatt提出感知机
二、冰河期：
1969年，Marvin出版《感知机》一书，使神经网络进入冰河期十多年，主要原因是，计算力不足，无法解决异或问题
1974年，Paul 发明反向传播算法，但并未受到重视
1980年，Kunihiko提出带有卷积和子采样结构的多层神经网络：新知机
三、反向传播算法引起复兴
1983年，John Hopfield 引入能力函数，并提出用于联想记忆和优化计算的途径
1984年，Geoffrey Hinton提出Boltzman机
1986年，David Rumelhart和James McClelland在对连接主义模拟神经活动提出全面论述，并重新发明的反向传播算法。
1986年，Geoffrey Hinton将反向传播引入多层感知机。
1989年，Yann LeCun间反向传播引入卷积神经网络
四、流行度降低
1995-2006 支持向量机兴起，受限计算机效能和数据规模不足，神经网络陷入低潮
五、深度学习崛起
2006年，Hinton发现多层前馈网络可以逐层预训练，提出深度学习
2012年，深度学习在语音识别和图像分类上取得巨大成功
1.3深度学习
一般机器学习流程包括
数据预处理：去噪音
特征提取：选特征
特征转换：降维
预测识别：训练函数用于预测
很多模式识别变成了特征工程，利用人类经验来选取特征
表示学习：自动从输入中学习有效的特征
什么是好的表示：
一、好的表示应该具有很强的表示能力。对比局部表示和分布式表示。分布式表示就是把特征分布到不同子特征上。
二、好的表示使后续学习任务变简单。解决语言鸿沟（输入的低层表示和高层语义之间的差异）
三、一个好的表示应该具有一般性，是任务和领域独立的。
提供表示能力需要构造一定深度的多层次特征表示。
深度学习就是如此从数据中学习一个深度模型，让模型学习好特征表示，提供预测或识别准确率。
深度学习要解决的问题是贡献度分配问题。
深度学习的目的是自动从数据中学习有效的特征。
深度学习相关会议
• 国际表示学习会议（International Conference on Learning Representations， ICLR） ：主要聚焦于深度学习。
• 神经信息处理系统年会（Annual Conference on Neural Information Processing Systems， NIPS）：交叉学科会议，但偏重于机器学习。主要包括神经信息处理，统计方法，学习理论以及应用等。
• 国际机器学习会议（International Conference on Machine Learning，ICML）：机器学习顶级会议，深度学习作为近年来的热点，也占据了 ICML的 很大比例。
• 国际人工智能联合会议（International Joint Conference on Artificial Intelligence，IJCAI）：人工智能领域最顶尖的综合性会议。历史悠久，从1969年开始举办，以前每奇数年召开。从2015年开始每年召开。召开时间在七八月份。近年来和深度学习相关的论文也越来越多。
• 美国人工智能协会年会3（AAAI Conference on Artificial Intelligence，AAAI）：人工智能领域的顶级会议，每年二月份左右召开,地点一般在北美。和 IJCAI一样，近年来和深度学习相关的论文也越来越多。
另外，在人工智能的很好应用方向的子领域都有非常好的专业学术会议。在计算机视觉领域，有计算机视觉与模式识别大会（IEEE Conference on Computer Vision and Pattern Recognition，CVPR）和国际计算机视觉会议（International Comference on Computer Vision，ICCV）。CVPR和ICCV是计算机视觉方面最好会议。在自然语言处理领域，有计算语言学年会（Annual Meeting of the Association for Computational Linguistics， ACL）和自然语言处理实证方法大会（Conference on Empirical Methods in Natural Language Processing，EMNLP）等。
参考资料
《神经网络与深度学习》邱锡鹏
深度学习概述-神经网络与深度学习学习笔记（一）相关推荐
- 从神经元到神经网络、从神经网络到深度学习：神经网络、深度学习、神经元、神经元模型、感知机、感知机困境、深度网络
从神经元到神经网络.从神经网络到深度学习:神经网络.深度学习.神经元.神经元模型.感知机.感知机困境.深度网络 目录 从神经元到神经网络.从神经网络到深度学习 神经网络:
- 【深度学习】吴恩达深度学习-Course1神经网络与深度学习-第四周深度神经网络的关键概念编程（下）——深度神经网络用于图像分类：应用
在阅读这篇文章之前,请您先阅读:[深度学习]吴恩达深度学习-Course1神经网络与深度学习-第四周深度神经网络的关键概念编程(上)--一步步建立深度神经网络,这篇文章是本篇文章的前篇,没有前篇的基础 ...
- 学习 |《神经网络与深度学习》的讲义
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作分享,不代表本公众号立场,侵权联系删除 转载于:专知 AI博士笔记系列推荐 周志华<机器学习>手推笔 ...
- 吴恩达深度学习 | (2) 神经网络与深度学习专项课程第二周学习笔记
课程视频 第二周PPT汇总 吴恩达深度学习专项课程共分为五个部分,本篇博客将介绍第一部分神经网络和深度学习专项的第二周课程:神经网络基础.由于逻辑回归算法可以看作是一个单神经元(单层)的网络结构,为了 ...
- 吴恩达深度学习—02神经网络和深度学习（视频笔记）
02神经网络和深度学习 第一周:深度学习的深实用层面 第二周:优化算法 第三周:超参数调试.Batch正则化和程序框架 第一周:深度学习的深实用层面 第二周:优化算法 第三周:超参数调试.Batch正 ...
- 【深度学习】神经网络与深度学习学习笔记
第一章 绪论 1.基本概念 深度学习(DL):深度学习是机器学习的一个分支,是指一类问题以及解决这类问题的方法.主要解决贡献度分配问题. 神经网络(ANNs):又称人工神经网络,是由人工神经元以及神经 ...
- 《神经网络与深度学习》—学习笔记
[nndl.github.io] [神经网络与深度学习] [nndl-book] 深度学习基础 深度学习是机器学习的一个分支,是指一类问题以及解决这类问题的方法. 深度学习问题是一个机器学习问题,指从 ...
- 邱锡鹏《神经网络与深度学习》第一章 绪论
目录 1.1 人工智能 1.1.1 人工智能的发展历史 1.1.2 人工智能的流派 1.2 人工神经网络 1.3 机器学习 1.4 表示学习 1.4.1 局部表示和分布式表示 1.4.2 表示学习 1 ...
- 机器学习、深度学习、神经网络学习资料集合(开发必备)
最近整理了下AI方面的学习资料,包含了学习社区.入门教程.汲取学习.深度学习.自然语言处理.计算机视觉.数据分析.面试和书籍等方面的知识.在这里分享给大家,欢迎大家点赞收藏. 学习社区 神力AI(MA ...
最新文章
- 架构思维-高业务复杂度系统建设思路
- 书评 | 圈内大佬怎么看编程日历
- python3.6小程序_python3.6 tkinter实现屏保小程序
- 【python图像处理】python绘制饼状图
- 【C++ Primer】自己动手编写函数 atoi（char *str）
- 使用next_permutation()的坑，你中招了么?
- 逆推继承看原型 函数的角色 函数声明和函数表达式的区别 函数中this指向的问题
- 有没有通过代码退出程序的方法--官方解答
- AspNetCms 国内×××聚
- 判断ImageView背景图片是否与Drawable中的某个图片一样的两个方法
- 商业价值：谷歌眼中的搜索未来
- html直播源怎么转码,直播源列表格式转换 - 黑鸟博客
- SQL Server 数据库之启动 SQL Server 2008 服务
- 基于Krpano的全景导游系统设计与实现（含word文档）
- 《Windows 网络操作系统》集中实训任务书详解
- python怎么变成黑色_Matplotlib:python2的RGB颜色显示为黑色
- ios降级鸿蒙,ios14怎么降级13.6 苹果iOS14降级超详细教程
- 【社区图书馆】vue的生命周期
- 《Java基础——break与continue用法详解》
- 【CSS解决页面高度塌陷问题】