Max Time-Delay Neural Networks

转载自：http://blog.csdn.net/wangxinginnlp/article/details/44977067

Time-Delay Neural Networks的解释见：http://en.wikipedia.org/wiki/Time_delay_neural_network

在参考文献中的两篇文章都使用以上述TDNN为基础Max-TDNN开始进行sentence modeling。

在文献[2]中sentence modeling最开始对输入层进行基本操作是卷积运算(convolution)，他们的one-dimensional convolution分为两种 narrow类型和wide类型。

卷积公式为 $c_j=m^Ts_{j-m+1:j}$ 。上述公式中m取5。简单看就是下面的5个连续的与对应的权重进行操作得到上面的一个点。

左侧的narrow和右侧的wide的区别

1）公式上看是 $j$ 取值不同，narrow中为[m,s]，wide为[1,s+m-1]。（s为输入层的长度）

2）从图像上看就是右侧需要对下层的点进行补0( $s_1$ 左侧和 $s_s$ 右侧)，使得上面多出的点仍可以进行卷积操作。

TDNN将输入s看成是一个带有时间维度的序列。在phoneme recognition中，输入序列中每个单位不是单值（如上图），而是一个d维向量。其进行卷积操作的m也需要进行改变，从上述的一个向量扩展为一个d*m的矩阵。这样一来，上述的图也需要进行扩展，可以看做在上图的基础上进行纵向扩展，每一个点变为一个d维度的向量（该处的点是向量在平面上的一个投影）。同样的，输出的序列c也要扩展为矩阵。

Max-TDNN是对上述TDNN的进一步约束。上图中序列c长度是随着输入序列s的长度变化而变化，而在一般神经网络中输入长度是需要固定的（超参数）。在TDNN中，输出的序列c矩阵列数变化，而行数是固定，为d。取每一行最大值形成一个新的固定d维度的向量 $c_{max}$ 。

简单总结：Max-TDNN让变长的自然语言句子适应普通的神经网络的定长输入。

参考文章：

[1] A Unified Architecture for Natural Language Processing：Deep Neural Networks with Multitask Learning ICML08

[2] A convolutional neural network for modelling sentences ACL14

Max Time-Delay Neural Networks相关推荐

Convolutional Neural Networks for Sentence Classification(卷积神经网络句子分类）
目录摘要原文翻译单词解释技术解读引言原文翻译单词解释技术解读原文翻译单词解释技术解读原文翻译单词解释技术解读原文翻译单词解释技术解读. Model 原文单 ...
机器学习与高维信息检索 - Note 5 - (深度）前馈神经网络（(Deep) Feedforward Neural Networks）及基于CVXOPT的相关实例
Note 5 - (深度)前馈神经网络((Deep) Feedforward Neural Networks)及相关实例 5.1 FNN的定义和动机粗略地说,前馈神经网络(FNN)是一种特殊的函数类 ...
【文本分类】Recurrent Convolutional Neural Networks for Text Classification
·摘要: 从模型的角度,本文作者将RNN(Bi-LSTM)和max_pooling结合使用,提出RCNN模型,应用到了NLP的文本分类任务中,提高了分类精度. ·参考文献: [1] Recur ...
人群分割--Fully Convolutional Neural Networks for Crowd Segmentation
Fully Convolutional Neural Networks for Crowd Segmentation https://arxiv.org/abs/1411.4464 这里设计了一个全卷 ...
AlexNet- ImageNet Classification with Deep Convolutional Neural Networks
ImageNet Classification with Deep Convolutional Neural Networks Advances in Neural Information Proce ...
1：ImageNet Classiﬁcation with Deep Convolutional Neural Networks
这里写链接内容ImageNet Classification with Deep Convolutional Neural Networks 在看caffe教程中example/ImageNet 时, ...
Stanford机器学习笔记-4. 神经网络Neural Networks (part one)
4. Neural Networks (part one) Content: 4. Neural Networks (part one) 4.1 Non-linear Classification. ...
Deep Neural Networks的Tricks
Here we will introduce these extensive implementation details, i.e., tricks or tips, for building an ...
李菲菲课程笔记：Deep Learning for Computer Vision – Introduction to Convolution Neural Networks
转载自:http://www.analyticsvidhya.com/blog/2016/04/deep-learning-computer-vision-introduction-convoluti ...

Max Time-Delay Neural Networks

Max Time-Delay Neural Networks相关推荐

最新文章

热门文章