腾讯一面的题目，当时脑子里只有相加平均

1. Word2Vec 怎么将得到的词向量变成句子向量

1）平均词向量：
平均词向量就是将句子中所有词的word embedding相加取平均，得到的向量就当做最终的sentence embedding。这种方法的缺点是认为句子中的所有词对于表达句子含义同样重要。

2）TF-IDF加权平均词向量：
TF-IDF加权平均词向量就是对每个词按照 TF-IDF 进行打分，然后进行加权平均，得到最终的句子表示。

3）SIF加权平均词向量：(没用过，所以理解其神韵即可)
第一步是对TF-IDF加权方法进行了改进，即算法认为词频本身很小的词，如果出现在当前句子中，说明其应当具有较高的权重。通过这样的方式进行加权平均操作得到一个平均向量。
第二步则是将该向量中的各个词的共有信息给抽掉，剩下的信息则更能够表征这个句向量。

2. Word2Vec 怎么衡量得到词向量的好坏

1）analogy task：
看看空间距离近的词，跟人的直觉是否一致，
经典的例子：king-queen=man-woman

2）对实际NLP任务的贡献：
对于一些传统方法做的任务，可以直接当作特征加进去，看看提升的效果。
对于用神经网络做的，可以用词向量作为词那一层的初始值，初始值选得好，就当做词向量好。

（Word2Vec）怎么将得到的词向量变成句子向量，以及怎么衡量得到词向量的好坏相关推荐

BERT实战（1）：使用DistilBERT作为词嵌入进行文本情感分类，与其它词向量（FastText,Word2vec,Glove）进行对比
这次根据一篇教程Jay Alammar: A Visual Guide to Using BERT for the First Time学习下如何在Pytorch框架下使用BERT. 主要参考了中文翻 ...
词向量、句子向量、篇章向量的一些理解（转）
2019独角兽企业重金招聘Python工程师标准>>> 词向量.句子向量.篇章向量的一些理解(转) (转自)http://blog.csdn.net/sinat_26917383/a ...
NLP-分类模型-2016-文本分类：FastText【使用CBOW的模型结构；作用：①文本分类、②训练词向量、③词向量模型迁移（直接拿FastText官方已训练好的词向量来使用）】【基于子词训练】
<原始论文:Bag of Tricks for Efficient Text Classification> <原始论文:Enriching Word Vectors with Su ...
衡量两个向量相似度的方法：余弦相似度
余弦相似度在NLP的任务里,会对生成两个词向量进行相似度的计算,常常采用余弦相似度公式计算. 余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小.余弦值越接近1,就表明夹角越接近 ...
段落向量与句子向量表达
这是Tomas Mikolov的一篇关于段落向量和句子向量的论文.本文是我翻译加自我理解的结果,如需要更详细的介绍,请看英文文献. 摘要许多机器翻译的算法都需要使用固定长度的词向量特征.在到达文本层 ...
【NLP】词袋模型（bag of words model）和词嵌入模型（word embedding model）
本文作为入门级教程,介绍了词袋模型(bag of words model)和词向量模型(word embedding model)的基本概念. 目录 1 词袋模型和编码方法 1.1 文本向量化 1.2 ...
自然语言处理(nlp)之词袋模型及句子相似度
本博文将会介绍NLP中常见的词袋模型(Bag of Words)以及如何利用词袋模型来计算句子间的相似度(余弦相似度,cosine similarity). 首先,让我们来看一下,什么是词袋模型. ...
如何用python做词云图_科学网—如何用Python做词云？（基础篇视频教程） - 王树义的博文...
只需要花10几分钟,跟着教程完整做一遍,你就能自己用Python做出词云了. <如何用Python做词云?>图文版发布于2017年6月,是我数据科学系列教程中的第一篇. 目前仅简书一个平台 ...
向量的内积，与角的关系，向量与它本身点积_4
目录什么是点积? 点积运算向量与角的联系向量和它本身什么是点积? 两个向量相乘,我们应该会想到如下场景: 但这个在现实生活中,用处不大. 但是其他乘法形式很有用. 最重要的是一种向量运算方式是 ...

（Word2Vec）怎么将得到的词向量变成句子向量，以及怎么衡量得到词向量的好坏

1. Word2Vec 怎么将得到的词向量变成句子向量

2. Word2Vec 怎么衡量得到词向量的好坏

（Word2Vec）怎么将得到的词向量变成句子向量，以及怎么衡量得到词向量的好坏相关推荐

最新文章

热门文章