神经网络与机器学习 笔记—基本知识点（下）
神经网络与机器学习 笔记—基本知识点（下）
0.1 网络结构：
神经网络中神经元的构造方式与用于训练网络的学习算法有着密切的联系，有三种基本的网络结构：
0.7 知识表示：
知识就是人或机器存储起来以备使用的信息或模型，用来对外部世界作出解释、预测和适当的反应。
主要特征：
什么信息是明确表述的；物理上信息是如何被编码和使用的。
神经网络的一个主要任务是学习他所依存的外部世界（环境）模型，并且保持该模型和真是世界足够兼容，使之能够实现感兴趣应用的特定目标。有关世界的知识由两类信息组成。
- 已知世界状态，有“什么是”事实和“什么是已知道的”事实所表示；这种形式的知识称为先验知识。
- 对世界的观察（测量），由神经网络中被设计用于探测环境的传感器获得。一般来说，这些观察是带有噪声的，这是由于传感器的噪声和系统的不完善而产生的误差。不管怎样，这样得到的观察会提供一个信息池，从中提取样例来训练神经网络。样例分为两种：有标号的和无标号的。有标号的就是对应的输入有输出结果，无标号的则没有输出结果。相比来说有标号的涉及到教师标注，成本高，数量少。无标号的则成本低，获取较方便。这种数据在机器学习里都叫做训练数据集，或者简称训练样本。
神经网络设计与传统信息处理对应部分（模式分类器）的设计有根本的差别。后者是设定方法、目标，验证目标。而且这则是通过学习数据来找到能达到目标的方法。
知识表示的规则：
- 相似类别中的相似输入通常应产生网络中相似的表示，因此，可以归入同一类中（向量内积或者欧几里得距离）。
- 网络对可分离为不同种类的输入向量给出差别很大的表示。
- 如果某个特征很重要，那么网络表示这个向量将涉及大量神经元。
- 如果存在先验信息和不变性，应该将其附加在网络设计中，这样就不必学习这些信息而简化网络设计。
怎么在神经网络设计中加入先验信息：
1.通过使用称为接收域的局部连接，限制网络结构。
2.通过使用权值共享。限制突触权值的选择。[明显降低自由参数]
CNN卷积神经网络用的就是1和2，这个以后说。
0.8 学习过程
通过神经网络的功能来进行如下分类：有教师学习和无教师学习。其中后者可以分为无监督学习和强化学习。后来又引申出来一个半监督学校。这些学习方式对训练数据集的要求是不一样的。
0.9 学习任务
模式联想（自联想、异联想）、模式识别、函数逼近、控制。
0.10 整理
神经网络与机器学习 笔记—基本知识点（下）相关推荐
- 神经网络与机器学习 笔记—基本知识点（上）
神经网络与机器学习 笔记-基本知识点(上) 0.1 什么是神经网络: 神经网络是由简单处理单元构成的大规模并行分布处理器,天然具有存储经验知识和使之可用的特性.神经网络在两个方面与大脑类似. 神经网络 ...
- 神经网络与机器学习 笔记—LMS（最小均方算法）和学习率退火
神经网络与机器学习 笔记-LMS(最小均方算法)和学习率退火 LMS算法和Rosenblatt感知器算法非常想,唯独就是去掉了神经元的压制函数,Rosenblatt用的Sgn压制函数,LMS不需要压制 ...
- 神经网络与机器学习 笔记—小规模和大规模学习问题
监督学习的可行性依赖于下面的关键问题: 由N个独立同分布的样本(X1,D1),(X2,D2),-,(Xn,Dn) 组成的训练样本是否包含了构造具有良好泛化性能的机器学习的足够信息? 计算考虑: 神经网 ...
- 神经网络与机器学习 笔记—核方法和径向基函数网络（下）
径向基函数(RBF)网络结构,基于产值理论 输入层,由m0个源节点组成,其中m0是输入向量x的维数. 隐藏层,由和训练样本的大小N相同个数的计算单元组成,每个单元都从数学上用一个径向基函数描述: 第j ...
- 神经网络与机器学习 笔记—卷积神经网络（CNN）
卷积神经网络 之前的一些都是考虑多层感知器算法设计相关的问题,这次是说一个多层感知器结构布局相关的问题.来总结卷积神经网络.对于模式分类非常合适.网络的提出所隐含的思想收到了神经生物学的启发. 第一个 ...
- 神经网络与机器学习 笔记—支持向量机（SVM）(上)
支持向量机(SVM)的主要思想: 给定训练样本,支持向量机建立一个超平面作为决策曲面,使得正例和反例之间的隔离边缘被最大化. 线性可分模式的最优超平面 训练样本{(xi,di)}^N i=1 ,其中x ...
- 神经网络与机器学习 笔记—核方法和径向基函数网络（上）
对于神经网络的监督学习有多种不同方法.之前一直总结整理的多层感知器反向传播算法,可以看做是递归技术的应用,这种技术在统计学中通称为随机逼近. 这次是采用不同的途径,通过包含如下两个阶段的混合方式解决非 ...
- 神经网络与机器学习 笔记—时序模式、非线性滤波
时序模式.非线性滤波 以多层感知器为例的静态神经网络的原型应用是结构化模式识别.时序模式识别或飞翔性滤波要求对随时间演化的模式进行处理,对特定的时刻的相应不仅依赖于输入的当前值,还依赖于以前的值.简单 ...
- 神经网络与机器学习 笔记—泛化和交叉验证
泛化和交叉验证 泛化 在反向传播学习中,一般从一个训练样本开始,而且通过网络中装载尽可能多的训练样本来使用反向传播算法计算一个多层感知器的突触权值.希望这样设计的神经网络可以很好的泛化.对于从未在生成 ...
最新文章
- ubuntu之路——day8.1 深度学习优化算法之mini-batch梯度下降法
- MAC OS Sierra 10.12.6 下对固态硬盘SSD 开启TRIM功能
- jsonp react 获取返回值_必须要会的 50 个React 面试题（下）
- poj1091：跳蚤【容斥原理】
- python多线程_thread使用锁
- 高等代数——大学高等代数课程创新教材（丘维声）——1.1笔记+习题
- Ngnix服务器详解(Windows版本)(非原创)
- 【软件架构】Michael Perry关于不可变架构、CAP定理和CRDTs
- JavaScript弹出框、对话框、提示框、弹窗总结
- 11.深入浅出：深度负反馈及放大倍数——参考《模拟电子技术基础》清华大学华成英主讲
- Python-Flask开发微电影网站(三)
- PHPExcel导出导入问题”continue” targeting switch is equivalent to “break”.Did you mean to use “continue 2”?
- 【XSY2689】王子 - 网络流
- 计算机多媒体教学教案,计算机语言课多媒体教学探析
- 如何制订一个有效的内部规范
- 交流电机是如何工作的
- 安装win8+Ubuntu双系统 传统BIOS方式引导模式 ubuntu引导windows
- 如何将本地的代码上传到github
- ExoPlayer 中的音频时间戳计算
- office安装出现了“office对安装源的访问被拒绝30068-4(5)”错误