A simple but tough-to-beat baseline for sentence embedding
论文原文:A simple but tough-to-beat baseline for sentence embedding
引言
在神经网络泛滥的时候,这篇文章像一股清流,提出了一个无监督的句子建模方法,并且给出了该方法的一些理论解释。通过该方法得到的句子向量,在STS数据集上取得了不输给神经网络的效果。
句子建模算法
作者将该算法称之为WR。
W表示Weighted,意为使用预估计的参数给句中的每个词向量赋予权重。
R表示Removal,意为使用PCA或者SVD方法移除句向量中的无关部分。
输入:
预训练的词向量{ vw:w∈V },例如word2vec、glove等
待处理的句子集合 S
参数a(论文中建议a的范围: [1e−4,1e−3] )
词频估计{ p(w):w∈V }
输出:
句子向量{ vs:s∈S }
实验结果
这是文中的第一个实验——句子相似性评价。
实验使用的数据集都是公共数据集,在这些数据集上方法都取得了不输给RNN和LSTM的表现。
但是在情感分析方面,该方法不及RNN和LSTM,作者分析的了可能原因:
1. 算法使用的词向量(word2vec, glove等)大都基于分布式假说——拥有相近上下文的单词具有相近的意思,但是这些词向量对句子中的antonym problem(我的理解是句子中会出现转折)的感知能力有限。
2. 对于预估计词频来确定权重的方式,在情感分析中可能不是很有效。例如,单词”not”在情感分析中是非常重要的,但是在确定权重时,采用的词频估计会导致其难以在情感分析中发挥作用。
实验复现
作者在Github上开源了该算法代码,于是我在此基础上,对作者的实验继进行复现,实验代码在我的github上
实验结果:(黄色背景的数据为论文中数据,用来和我的实验数据进行比较)
部分数据存在缺失,可能是忘记记录了,但是实验效果和论文基本一致。
总结
这种句子的建模方式非常高效且便捷。由于这是一种无监督学习,那么就可以对大规模的语料加以利用,这是该方法相比于一般有监督学习的一大优势。
通过对实验的复现,发现运行一次程序只需要十几分钟,并且主要的运行耗时都在将词向量模型载入内存这个过程中,这比动不动就需要训练几周的神经网络模型确实要好很多,并且在这个词相似性任务中,与神经网络旗鼓相当。
A simple but tough-to-beat baseline for sentence embedding相关推荐
- 论文阅读笔记——《a simple but tough-to-beat baseline for sentence embeddings》
<a simple but tough-to-beat baseline for sentence embeddings>published at ICLR 2017. ICLR会议的论文 ...
- UNE BASE SIMPLE MAIS PARFAITE POUR SENTENCE EMBEDDINGS(一个简单但很难超越的Sentence Embedding基线方法)
法语简介: ABSTRAIT Le succès des méthodes de réseau de neurones pour le calcul des intégrations de mots ...
- 文献阅读:SimCSE:Simple Contrastive Learning of Sentence Embeddings
文献阅读:SimCSE:Simple Contrastive Learning of Sentence Embeddings 1. 文献内容简介 2. 主要方法介绍 3. 主要实验介绍 1. STS ...
- Bi-SimCut: A Simple Strategy for Boosting Neural Machine Translation 论文笔记
目录 一.摘要 二.Token Cutoff介绍.公式 2-1.背景介绍 2-2.Cutoff介绍.架构示意图.公式详解 三.Bi-SimCut介绍.公式 3-0.Bi-SimCut完整概要 3-1. ...
- minecraft服务器_如何使用Minecraft领域设置简单的无压力Minecraft服务器
minecraft服务器 There are a lot of ways to go about hosting a Minecraft game but it's tough to beat the ...
- 【ICLR2019】Poster 论文汇总
ICLR2019 Poster 文章汇总, 共478 papers Convolutional Neural Networks on Non-uniform Geometrical Signals U ...
- 2012《Linux杂志》读者选择奖 (Readers' Choice Awards 2012- Linux Journal)
作者 :http://www.linuxjournal.com 注释:http://www.znsystem.com/blog/ This post is from :http://www.linux ...
- HTG评论Amped无线TAP-EX Wi-Fi扩展器:2.4Ghz频段的强大功能
€ 欧元 €Wireless extenders are a dime a dozen, but the TAP-EX stands out in one area: raw power. This ...
- 2020年NLP所有领域最新、经典、顶会、必读论文
本资源整理了近几年,自然语言处理领域各大AI相关的顶会中,一些经典.最新.必读的论文,涉及NLP领域相关的,Bert模型.Transformer模型.迁移学习.文本摘要.情感分析.问答.机器翻译.文本 ...
最新文章
- 查看jks文件中的签名
- 常见java相关问题
- python pil无法安装_解决virtualenv下安装Python PIL的support not available问题
- 27道高频Spring面试题,你能答对几个?
- xampp访问php显示空白,运行PHP项目显示空白
- xshell / xftp家庭/学校免费版官网下载地址
- 2019.7.29学习整理python
- Win7系统虚拟键盘打开的方法
- Android书页翻页设计:android-flip
- mysql服务器cpu资源占用满
- 在WEB开发的时候导入各种jar包
- 《从0到1学习Flink》—— Flink parallelism 和 Slot 介绍
- js实现图片压缩上传
- c语言贪吃蛇游戏问题描述,贪吃蛇小游戏的几个问题
- springboot配置mysql
- 数据库的研究内容主要有哪些方面?
- 伯恩光学赴港:背靠苹果、小米,能掀起多大资本浪花?
- php微信公众号开发图片预览,微信公众号点亮图片怎么做
- VDT (virtual device on tcp) 基于tcp通信的虚拟设备工具集
- MySQL 8——学习笔记03(插入、更新、删除 数据 [DML语句]、查询数据 [DQL语句])
热门文章
- 计算机wps怎么排名,wps表格不更改顺序排名次的方法
- Asp.Net文件处理
- 【计算理论】计算复杂性 ( NP 完全问题 - 布尔可满足性问题 ★ | 布尔可满足性问题是 NP 完全问题证明思路 ) ★
- el-upload上传失败提示框重新上传直接弹出选择文件
- 移动互联网如何改变了外卖行业
- 基于 Matlab/simulink的锂电池建模与仿真——复现论文《基于二阶EKF的锂离子电池SOC估计的建模与仿真》的仿真部分
- python打地鼠游戏代码_Python 0基础开发游戏:打地鼠(详细教程)VS code版本
- ## YARN运行资源配置
- HTML5期末大作业:关于我的家乡——四川文化(4页) HTML+CSS+JavaScript
- .NET经典图书推荐(下)