Finding Structure in Time论文解读

《Finding Structure in Time》-1990
作者Jeffrey L.Elman
已经于2018年的六月份去世了。
该文的引用量非常之高，目前有9000多，所以也导致有些神经网络发展史中把该篇文章视为经典论文。

文章目的是：
提出一种新的结构，用来解决时序相关的问题。
注意，该文的Section 1不是从Introduction部分开始算起。

文章结构={1.TheProblemwithTime2.Networkswithmemory3.Exclusive−OR4.Strutureinlettersequences5.Discoveringthenotion"word"6.Discoveringlexicalclassesfromwordorder7.Types,tokens,andstructuredrepresentations8.Conclucions文章结构=\left\{ \begin{aligned} 1.The\ Problem\ with\ Time \\ 2.Networks\ with\ memory\\ 3.Exclusive-OR \\ 4.Struture\ in\ letter\ sequences\\ 5.Discovering\ the\ notion\ "word"\\ 6.Discovering\ lexical\ classes\ from\ word\ order\\ 7.Types,tokens,and\ structured\ representations\\ 8.Conclucions \end{aligned} \right.文章结构=⎩⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎧1.The Problem with Time2.Networks with memory3.Exclusive−OR4.Struture in letter sequences5.Discovering the notion "word"6.Discovering lexical classes from word order7.Types,tokens,and structured representations8.Conclucions
section1 讲了目前的一些问题。
section2 指明本文的方案
论文的中间大部分用来指明该方案应用到现有问题上的一些效果。

Section 1的标题是：The problem with time.
讲了三个问题：
1.现有的神经网络的使用需要现实世界与该神经网络有一个接口。
怎么让该神经网络系统知道接受的内容中的哪一部分应该作为神经网络的输入数据？（对应P181的第2段内容）
2.现有的系统的输入端口数量是固定的，那要是相比较两个长度不一的句子咋办？（对应P181的第3段内容）
3.之前的方案不能准确地区分相对时序位置，作者这里举了一个例子：
[011100000]
[000111000]
怎么让系统知道这是两个不同的输入呢？

这里稍微总结下：我个人理解，这里的前面两个问题其实是在说同一个事儿。

Section 2的标题是：Networks with Memory.
注意，下面的Figure1，虽然号称使用的是Jordan的1986年的文章中的一个插图。该文章是：
《Serial order:A parallel distributed processing approach》-1986

但是该篇所谓的1986年的文章在google学术中查到是1997年发表的。
所以可能是86年发表后，于1997年重映了。
值得一提的是，上图与《Serial order:A parallel distributed processing approach》-1986的插图并不一致。
好了，本文作者提出的结构如下：

一句话概括,创新点在哪里：
Fig1中的反馈点是从“输出层”返回输入端。
Fig2中的反馈点是从“隐藏层输出端”返回输入端。
所以本文创新点就是改了个“反馈点的位置”，然后后面就是各种实验和理论分析了。

好了，上图只是一个草图，
这个神经网络内部到底长啥样？
我们来看Section 3：Exclusive-OR
XOR异或的完整名称就是“Exclusive-OR”
这个section在P185
这个Section下面的第4段提到：

The input stream was presented to the network shown in Figure2(with 1 input unit,2 hidden units,1 output unit,and 2 context units),one bit at a time.
所以上面的Figure2里面的节点数我们知道了，但是怎么反馈的，上面的图就是很抽象的一条线，以及“权重线”具体怎么连接也没有说。
作者去世了，所以也无法联系了。

P186的最下方，我们可以得到一丁点信息：
当全0或者全1输入时，其中一个hidden unit（就是放激活函数）会被激活，另外一个会被抑制。
当0101…这种不停变换的方式输入时，则反过来,其中一个hidden unit被抑制，另外一个hidden unit会被激活。

因为论文本身也没有附带代码链接，且没有讲清楚具体的网络结构，后面的解读无法进行下去，也无法联系去世的作者获知具体细节。

Finding Structure in Time论文解读相关推荐

论文解读《Global Structure and Local Semantics-Preserved Embeddings for Entity Alignment》
论文解读<Global Structure and Local Semantics-Preserved Embeddings for Entity Alignment> 论文题目:Glob ...
ICCV 2019 论文解读 | 基于层次解析的Image Captioning
©PaperWeekly 原创 · 作者|蔡文杰学校|华南理工大学研究方向|计算机视觉目前大多数的 image captioning 模型采用的都是 encoder-decoder 的框架.本文 ...
bsp模型适用于图计算_【论文解读】目标检测之RFBnet模型
原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不能用于商业目的. 其它机器学习.深度学习算法的全面系统讲解可以阅读<机器学习-原理.算法与应用>,清华大学出版社,雷明 ...
CVPR 2021 | 腾讯AI Lab入选论文解读
本文转载自腾讯AI实验室 CVPR(Conference on Computer Vision and Pattern Recognition)是计算机视觉三大顶会之一,也是中国计算机学会推荐的人工智 ...
论文解读 Receptive Field Block Net for Accurate and Fast Object Detection
其它机器学习.深度学习算法的全面系统讲解可以阅读<机器学习-原理.算法与应用>,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造. 书的购买链接书的勘误,优化,源代码资源 PDF全 ...
【NeurIPS100】谷歌、Facebook、斯坦福等十篇机器学习最新论文解读
NeurIPS 2019虽然刚刚落幕,但是学习的任务还远未结束. 今天我们整理了NeurIPS 2019上十篇机器学习领域的论文,这些论文来自谷歌.Facebook.普林斯顿大学.斯坦福大学等团队的最 ...
论文解读：基于深度相机的3D建模 2020最新综述
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨安如夏@知乎来源丨https://zhuanlan.zhihu.com/p/299489800 ...
CVPR2020论文分方向整理之检测篇（代码/论文解读/136篇打包下载）
z CVPR2020论文分方向整理之检测篇(代码/论文解读/136篇打包下载) 极市平台(微信公众号ID:extrememart):专注计算机视觉前沿资讯和技术干货.本文由极市平台首发,转载需获授权. ...
CVPR2020论文分方向整理之检测篇_3D目标检测（代码/论文解读/136篇打包下载）
CVPR2020论文分方向整理之检测篇(代码/论文解读/136篇打包下载) 本周三,CVPR官方正式开放下载,极市第一时间将所有论文(共1467篇)进行了下载打包,详情见此处.为了方便大家进一步的学习 ...

Finding Structure in Time论文解读

Finding Structure in Time论文解读相关推荐

最新文章

热门文章