神经网络与机器学习 笔记—时序模式、非线性滤波
时序模式、非线性滤波
以多层感知器为例的静态神经网络的原型应用是结构化模式识别。时序模式识别或飞翔性滤波要求对随时间演化的模式进行处理，对特定的时刻的相应不仅依赖于输入的当前值，还依赖于以前的值。简单说，时间是有序的量，构成了时序模式识别任务中学习过程的重要成分。
对于动态神经网络来说，它必须以一种或另一种形式给定短期记忆。完成这已修改的一个简单途径是利用时间延迟，时间延迟可以在网络内部的突触层或者外部地在网络的输入层上执行。确实，神经网络中时间延迟的使用是受神经生物学启发的，因为在大脑中信号延迟是无所不在的，且在神经生物信息处理中起着重要的作用。时间可以通过如下的两种基本途径来嵌入神经网络的运行中：
隐式表示。时间是通过其作用于信号处理的效果以一种隐含方式来表示的，这由通过外部方式对一个静态神经网络（如多层感知器）提供动态属性而得到。
显示表示。在网络结构内时间由它自身的特定表示给出。
建立在神经网络上的非线性滤波：
由两个子系统的层叠连接组成：短期记忆和静态神经网络（如多层感知器）。这一结构对于处理规则提供了明确的分割：静态网络对应于非线性，记忆对应于时间。具体来说，假设给定了具有大小为m的输入层的多层感知器。那么，在一个对应的途径下，记忆是一个单输入多输出（SIMO）的结构，提供对模拟神经网络的输入信号的m哥不同延迟版本。
通用短视映射定理
任何平移不变的短视动态映射可以包含有两个功能块的结构任意地一致逼近：一组线性滤波器馈给一个静态神经网络。
NETtalk网络结构示意图
NETtalk是将英语语音转化为音速的大规模并行分布式网络的第一个示范。音素（phoneme）是一个基本的语言单位。上面显示了一个NETtalk系统的示意图，它建立在一个多层感知器的基础上，输入层由203的感知（源）节点，隐藏层有80个神经元，输出层有26个神经元。所有神经元都使用sigmoid（logistic）型激活函数。这个网络的突触连接有18629个，每个神经元包含有可变的阈值。阈值时偏置的负值。这个网络使用标准的反向传播算法进行训练。这个网络有7组输入层节点。每组对输入文本的1个字母进行编码。从而每次将7个字母组成的串呈现给输入层。训练过程的期望相应是和7个字母窗口中央的一个（第四个）相联系的正确因素。另外6个字母对网络的每一个决策来说提供部分的上下文。通过一个字母接着一个字母的方式使文本通过窗口。在处理的每一步中，网络都计算一个音速，没学完一个单词后，网络的突触权值就根据计算出的发音与正确的发音的接近程度进行调整。NETtalk的性能显示出和观察到的人类表现的相似之处:
训练遵守有力的规律（power law）。
网络学习的单词越多，它的泛化性能和对新词正确发音的性能就越好。
当网络的突触连接被破坏时，网络性能的下降非常缓慢。
在网络遭遇到破坏后，进行重新学习，学习的速度要比原始训练快得多。
神经网络与机器学习 笔记—时序模式、非线性滤波相关推荐
- 神经网络与机器学习 笔记—基本知识点（下）
神经网络与机器学习 笔记-基本知识点(下) 0.1 网络结构: 神经网络中神经元的构造方式与用于训练网络的学习算法有着密切的联系,有三种基本的网络结构: 0.7 知识表示 ...
- 神经网络与机器学习 笔记—LMS（最小均方算法）和学习率退火
神经网络与机器学习 笔记-LMS(最小均方算法)和学习率退火 LMS算法和Rosenblatt感知器算法非常想,唯独就是去掉了神经元的压制函数,Rosenblatt用的Sgn压制函数,LMS不需要压制 ...
- 神经网络与机器学习 笔记—基本知识点（上）
神经网络与机器学习 笔记-基本知识点(上) 0.1 什么是神经网络: 神经网络是由简单处理单元构成的大规模并行分布处理器,天然具有存储经验知识和使之可用的特性.神经网络在两个方面与大脑类似. 神经网络 ...
- 神经网络与机器学习 笔记—小规模和大规模学习问题
监督学习的可行性依赖于下面的关键问题: 由N个独立同分布的样本(X1,D1),(X2,D2),-,(Xn,Dn) 组成的训练样本是否包含了构造具有良好泛化性能的机器学习的足够信息? 计算考虑: 神经网 ...
- 神经网络与机器学习 笔记—支持向量机（SVM）(上)
支持向量机(SVM)的主要思想: 给定训练样本,支持向量机建立一个超平面作为决策曲面,使得正例和反例之间的隔离边缘被最大化. 线性可分模式的最优超平面 训练样本{(xi,di)}^N i=1 ,其中x ...
- 神经网络与机器学习 笔记—核方法和径向基函数网络（上）
对于神经网络的监督学习有多种不同方法.之前一直总结整理的多层感知器反向传播算法,可以看做是递归技术的应用,这种技术在统计学中通称为随机逼近. 这次是采用不同的途径,通过包含如下两个阶段的混合方式解决非 ...
- 神经网络与机器学习 笔记—卷积神经网络（CNN）
卷积神经网络 之前的一些都是考虑多层感知器算法设计相关的问题,这次是说一个多层感知器结构布局相关的问题.来总结卷积神经网络.对于模式分类非常合适.网络的提出所隐含的思想收到了神经生物学的启发. 第一个 ...
- 神经网络与机器学习 笔记—复制器（恒等）映射
反向传播算法是一个对于计算代价函数的梯度(即一阶导数)计算有效的技术.代价函数由刻画多层感知器的可调参数(突触权值和偏置)的函数来表示.算法计算能力是由两个明显的性质而导出的:反向传播算法是局部计算简 ...
- 神经网络与机器学习 笔记—Rosenblatt感知器收敛算法C++实现
Rosenblatt感知器收敛算法C++实现 算法概述 自己用C++实现了下,测试的例子和模式用的都是双月分类模型,关于双月分类相关看之前的那个笔记: https://blog.csdn.net/u0 ...
最新文章
- USACO 1.4 Packing Rectangles
- 为Office365增加密码过期自动提醒功能
- Spring(2)——Spring IoC 详解
- 爬虫python软件准备_工具准备的差不多了,接下来就是python爬虫的封装了
- ubuntu pycharm设置快捷图标_这些Ubuntu中的小技巧，你知道吗？
- deepin应用分发_Deepin Dock隐藏功能等功能说明
- 万能套用PS分层模板，不怕老板捉急！
- HTML5 学习准备1
- 使用reflector反编译exe文件和dll文件
- 适合协作办公的在线Word文档-超级文档
- python程序设计心得体会感想-如何快速学会Python
- Java 多态的薪酬计算的练习
- 百度智能云虚拟主机搭建ThinkPHP5.0项目
- 购买iPhone手机时的专业术语名词解析
- uniapp 做的一个房贷计算器
- SpringBoot——什么是SpringBoot、SpringBoot入门、创建SpringBoot
- 蓝桥杯真题 19省2-年号字串 小明用字母 A 对应数字 1， B 对应 2，以此类推，用 Z 对应 26。对于 27以上的数字，小明用两位或更长位的字符串来对应，例如 AA 对应 27， AB
- 运动耳机选择哪种好、什么款式的耳机戴着舒服
- python从入门到实践源代码-Python从入门到项目实践 PDF 全彩带源码版
- 硒鼓带不带芯片区别_请问一下硒鼓芯片有什么作用啊?没有它打印机 – 手机爱问...