论文阅读笔记——《a simple but tough-to-beat baseline for sentence embeddings》

《a simple but tough-to-beat baseline for sentence embeddings》published at ICLR 2017.

ICLR会议的论文总是创意层出不穷，相信将来该会议的地位越来越受人们尊重。

本文提出了一个简单但是完胜现在已有的很多方法的sentence embedding方法。作者称之为WR方法，W stands for weighted average, R stands for removing some special direction which is derived from a generative model of texts. 简单地说，模型的输入是一个已有的word embedding，基于该 word embedding 和 sentence s, 通过加权求平均的方法求得sentence s的embedding，然后使用主成分分析去掉一些special direction.

sentence embedding 是由c_s的MLE计算得到的，c_s用作者的说法是，"represents what is being talked about"，个人理解是包含一定语义的向量，用于表示这个句子的主旨。为了更好地模拟句子的语义，作者设计两个"smoothing term"，如下图：

Section 3.1合理性讨论：

证明了使用了sub-sampling的word2vec模型，其实是在w的向量更新的方向（梯度）加上了一个权重，实验证明word2vec的权重(w = sigma(q*v))和本文模型中的权重(w = a/(a+p(w)))是相似的。（但是一个是sentence embedding，一个是word embedding，可以直接比较吗？ word embedding 是前面n-1个词的embedding结果的加权平均，句子是由词组成的，所以可以类似地比较，大概是这样）

关于word2vec，详细可看https://www.cnblogs.com/peghoty/p/3857839.html（非常有用）

原文代码:https://github.com/PrincetonML/SIF

论文阅读笔记——《a simple but tough-to-beat baseline for sentence embeddings》相关推荐

《Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs》论文阅读笔记
<Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs>论文阅读笔记主要挑战贡献: KG上的推理挑战主要 ...
论文阅读 | NIPS‘20 | Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs
很有意思的一篇paper.在众多Knowledge Graph Embedding (KGE) 的论文中通过问题设计和有意思的解决方式脱颖而出. 首先来看看问题设计. 一般的KGE model都是利用 ...
Beta Distribution Guided Aspect-aware Graph for Aspect Category Sentiment Analysis论文阅读笔记（EMNLP2021）
目录标题翻译:基于Beta分布引导方面感知图的方面类别情感分析原文链接:https://aclanthology.org/2021.emnlp-main.19.pdf 摘要: 1 引言 2 相关工 ...
Phrase-BERT: Improved Phrase Embeddings from BERT with an Application to Corpus Exploration论文阅读笔记
问题: 因为bert是在长文本(512token长度)预训练的,因此,如果没有特定于任务的微调,BERT在短语和句子上的表现通常比简单基线(如GLoVe的平均池化)更差.且字节2020在EMNLP上的 ...
DeepWeak: Reasoning Common Software Weaknesses via Knowledge Graph Embedding 阅读笔记
DeepWeak: Reasoning Common Software Weaknesses via Knowledge Graph Embedding 阅读笔记 Article Background ...
[论文阅读笔记] Are Meta-Paths Necessary, Revisiting Heterogeneous Graph Embeddings
[论文阅读笔记] Are Meta-Paths Necessary? Revisiting Heterogeneous Graph Embeddings 购物返利 www.cpa5.cn 本文结构解 ...
论文阅读笔记—Reasoning on Knowledge Graphs with Debate Dynamics（AAAI，2020）
这是一篇非常有趣的工作,看完会觉得眼前一亮. 论文标题:Reasoning on Knowledge Graphs with Debate Dynamics 发表于AAAI,2020 动机很多机器 ...
Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction论文阅读笔记
我的博客链接 0. 前言 1. 作者试图解决什么问题? 作者想在KGE中对语义层级(semantic hierarchies)进行建模. 2. 这篇论文的关键元素是什么? semantic hiera ...
斯坦福图机器学习CS224W笔记自用: Reasoning in Knowledge Graphs using Embeddings
1. 基于嵌入的知识图推理目标:如何对知识图进行多跳推理? 知识图推理: 回答多跳查询路径查询连接查询 Query2box 示例:生物医学图知识图谱上的预测查询我们是否可以进行多跳推理,即在 ...

论文阅读笔记——《a simple but tough-to-beat baseline for sentence embeddings》

论文阅读笔记——《a simple but tough-to-beat baseline for sentence embeddings》相关推荐

最新文章

热门文章