word2vec相似度计算_AAAI-2016 | 使用孪生递归网络的句子语义相似度计算方法

2024-04-08 04:49:38

本文《Siamese Recurrent Architectures for Learning Sentence Similarity》提出了一种使用孪生递归网络来计算句子语义相似度的方法。首先，使用LSTM将不定长的两个句子编码为固定尺寸的特征，再通过manhattan距离来衡量特征之间距离。

论文地址:https://dl.acm.org/citation.cfm?id=3016291

引言

句子相似度的计算的准确与否，很大程度上依赖于文本理解和信息抽取这两个任务。句子相似度计算是一个难度很高的任务，首先，表达同样语义的句子可以有许多不同的组成方式，同时又存在大量的同义词；其次，语义相近的句子对（标注数据）十分有限。

数据集

使用SICK数据集，包含5000个训练样本对，4927个测试样本对。相关程度为[1, 5], 5代表语义最相似，1代表最不相似，标注的分数是10个人为评分的平均值。

Manhattan LSTM模型

总体框架如下图所示，模型由LSTM_a和LSTM_b组成，它们的权重是共享的，即LSTM_a=LSTM_b。LSTM的作用是将不同输入长度的句子编码到定长的特征空间。本文将LSTM最后的一个隐状态作为整个句子的表达。

得到两个句子的特征表达之后，需要计算特征之间的相似度，本文将句子特征的相似度认为是句子语义的相似度。特征的相似度计算公式如下，在训练时，样本的标签需要从[1,5]归一化到[0,1]：

实验结果

在SICK数据集上，使用MSE作为loss函数，LSTM的隐层节点数为50，使用Adadelta优化算法，同时抽取30%的训练集作为验证集。模型在测试集上的表现如下图所示。

同时MaLSTM也可以作为句子的特征提取模块，将提取后的特征进行分类。为了让SICK数据能够被分类模型使用，本文将SICK数据分为了3类，“语义相似”、“语义相反”、“语义中立”。

在使用MaLSTM对句子进行编码后，使用SVM对特征进行分类。实验结果如下：

结论

(1)本文的工作表明简单的LSTM模型能够获得复杂的语义信息。
(2)MaLSTM的结构拥有良好的可解释性。

扫码识别关注，获取更多论文解读

word2vec相似度计算_AAAI-2016 | 使用孪生递归网络的句子语义相似度计算方法相关推荐

孪生网络图像相似度_论文浅尝 | 使用孪生BERT网络生成句子的嵌入表示
论文笔记整理:吴杨,浙江大学计算机学院,知识图谱.NLP方向. https://www.ctolib.com/https://arxiv.org/abs/1908.10084 动机谷歌的 BERT ...
文本相似度计算（切词、生成词向量，使用余弦相似度计算）
项目需求有多个文本,分别是正负样本,使用余弦相似度计算负样本与正样本的样本相似度,若准确率高,后期可判断新加样本与正样本的相似度. 输入如下所示: content label 今天下午,在龙口市诸由 ...
论文浅尝 | 使用孪生BERT网络生成句子的嵌入表示
论文笔记整理:吴杨,浙江大学计算机学院,知识图谱.NLP方向. https://www.ctolib.com/https://arxiv.org/abs/1908.10084 动机谷歌的 BERT ...
文本相似度计算 python去停用词_python专业方向 | 文本相似度计算
欢迎关注我们的微信公众号"人工智能LeadAI"(ID:atleadai)步骤 1.分词.去停用词 2.词袋模型向量化文本 3.TF-IDF模型向量化文本 4.LSI模型向量化文本 ...
知识图谱中的余弦相似度计算
从谷歌最早提出知识图谱的概念后,知识图谱的火爆从美国一路烧到了国内,近几年知识图谱技术在国内已经得到了飞速的发展,我们对知识图谱的概念及应用都不再陌生.大家可以看到知识图谱技术的应用出现在越来越多的垂 ...
语义相似度(理论篇)
如果本文观点有不对的地方,欢迎指正! author:佟学强开场白:对于事物的理解,一般分3个层次:①看山是山,看水是水②看山不是山,看水不是水③看山是山,看水是水.对AI和nlp的理解,同样会有这三 ...
讯飞语义相似度baseline
使用Bert进行文本分类 1 数据的读入 1.1 本地文件 2 数据预处理 2.1 定义一个tokenizer 2.2 pandas读入 3 输出 3.1 直接输出 3.2 常规训练源码来自于: h ...
语义相似度的计算方法
词语的语义相似度计算主要有两种方法 : 一类是通过语义词典,把有关词语的概念组织在一个树形的结构中来计算: 另一类主要是通过词语上下文的信息,运用统计的方法进行求解. 1. 语义相似度 Dekang ...
原创：语义相似度(理论篇)
原创:语义相似度(理论篇) 如果本文观点有不对的地方,欢迎指正! author:佟学强开场白:对于事物的理解,一般分3个层次:①看山是山,看水是水②看山不是山,看水不是水③看山是山,看水是水.对AI ...

最新文章

热门文章