NLP 如何评估词向量

2024-05-09 10:04:17

目前词向量的评估一般分为两大类：extrinsic evaluation和 intrinsic evaluation。即内部评估和外部评估。

内部评估

内部评估直接衡量单词之间的句法和语义关系。这些任务通常涉及一组预先选择的查询术语和语义相关的目标词汇，我们将其称为query inventory。

similarity 相关性度量

当前绝大部分工作（比如以各种方式改进 word embedding）都是依赖 wordsim353 等词汇相似性数据集进行相关性度量，并以之作为评价 word embedding 质量的标准。然而，这种基于 similarity 的评价方式对训练数据大小、领域、来源以及词表的选择非常敏感。而且数据集太小，往往并不能充分说明问题。

评价数据集往往是成对的单词，两个单词的 embedding 余弦相似度计算出来应该具有较高的相关性（Spearman 或 Pearson）和人的主观评价分数。

word analogy 类比推理

假设给了一对单词 (a , b) 和一个单独的单词 c，task 会找到一个单词 d，使得 c 与 d 之间的关系相似于 a 与 b 之间的关系。举个简单的例子：(中国，北京)和日本，应该找到的单词应该是东京，因为北京是中国的首都，而东京也是日本的首都。在给定 word embedding 的前提下，task 一般是通过在词向量空间寻找离 (b-a+c) 最近的词向量来找到 d。

外部评估

应用到下游任务

比如词性标注、命名实体识别、句法分析、句子分类等，将词向量作为输入，衡量下游任务指标性能的变化。

但这种评估只能方法只是提供了一种证明 embedding 优点的方法，而不清楚它是如何与其他衡量指标联系其他的。也就是说，基于具体应用的评价是一种间接方式，中间还隔了一层。

虽说如此，根据论文 Evaluation methods for unsupervised word embeddings，还是这种方法最好，并且此论文提出了新的评估方法。

可视化

也可以做可视化来展示评估，使用 t-sne 等。

NLP 如何评估词向量相关推荐

NLP基础|中英文词向量评测理论与实践
七月上海 | 高性能计算之GPU CUDA培训 7月27-29日三天密集式学习快速带你入门阅读全文> 正文共1416个字,6张图,预计阅读时间6分钟. 导读最近在做词向量相关工作,训练的 ...
【NLP】fastText词向量与文本分类工具
一.简介 fastText 是 Facebook 于2016年开源的一个词向量训练与文本分类工具,其典型应用场景是"无监督的词向量学习"和"有监督的文本分类". ...
【NLP】ACL2020 | 词向量性别偏见
作者 | Salesforce Research 编译 | NewBeeNLP ACL2020关于词嵌入性别偏见的蛮有意思的一项工作: 论文地址:https://arxiv.org/abs/2005 ...
神经网络和 NLP —— 语言模型和词向量
前段时间一口气读完了 NN4NLP,很是畅快,非常喜欢作者行文讲解的口吻和逻辑.大概两周读完,每页都有收获,读完后反而担心有所疏漏,知识太多留不住,索性从头来一遍,把学习过程的知识点和思考记录下来,也 ...
初次遇见NLP：从词向量到BERT
目录一.词向量Word2vector 二.Transformer 三.Bert 一.词向量Word2vector 语言的表达形式有两种:一种是离散的符号,一种是基于上下文的.eg.我爱你我 1 ...
NLP(4) | 用词向量技术简单分析红楼梦人物关系用n-gramma生成词向量word2vect进行模型训练
NLP(1) | 词向量one hot编码词向量编码思想 NLP(2) | 中文分词分词的概念分词方法分类CRFHMM分词 NLP(3)| seq to seq 模型前言:出于种种原因,总是不自觉把 ...
NLP中的词向量及其应用
https://www.toutiao.com/a6643219722961682947/ 2019-01-06 11:25:24 词向量基本上是一种单词表示形式,它将人类对语言的理解与机器的理解连接 ...
NLP中的词向量总结与实战：从one-hot到bert
写在前面之前写的关于NLP基础词向量的笔记,这次更新一下.从最简单的one-hot到目前效果惊人的BERT进行整理对比,加深对基础的理解.词向量的表示方法由低级至高级可以分为以下几个部分: Bag ...
[NLP] 深入浅出 word2vec 词向量详解
Word2vec 词向量前置知识:需要理解基本的MLP 多层感知机(全连接神经网络) 和DL.数学相关基础知识 One-hot encoding 独热编码刚开始,人们用one-hot编码来表示词, ...

最新文章

热门文章