词语语义的相关关系和相似关系量化

2024-06-05 00:37:37

词语语义的相关关系和相似关系量化

语义相关关系和相似关系

自然语言处理中，词语的语义关系包括有相似关系和相关关系，语义相似关系例如汽油和柴油之间的关系，语义相关关系例如鼠标和键盘之间的关系。国内博客基本找不到关于这一类关系挖掘的研究，今天抽空写点记录一下。

word embedding的缺点

word embedding是指将词语映射到一个向量空间。在自然语言处理领域这方面的研究由来已久，有人工设计特征的方法(ESA，TSA)，也有基于语料库的无监督方法(A Neural Probabilistic Language Model, Yoshua Bengio et al)。人工设计特征的方法过于麻烦，而无监督方法计算复杂程度又过高不够实用，一直到2013年Mikolov等人提出了一个实用型工具word2vec，基于语料库的无监督方法开始流行起来。

但是，现如今的基于语料库的无监督word embedding方法，基本都是基于一个假设，即拥有相似上下文的词语拥有相似的语义，这并不是一个严谨的假设。例如，在word2vec的训练结果中，词语"好"和词语"坏"拥有很比较接近的词向量，但是这两个词语的语义其实并不接近，问题在于好和坏的上下文语境总体上来说比较相似从而导致模型训练出现偏差。事实上，两个词语拥有相似的上下文并不等价于它们拥有相似的语义，至多等价于拥有相似的语法结构。

挖掘相关关系和相似关系

我们会发现，从语料库的角度来说，语义相关关系意味着两个词一起出现的概率，而这正是符合基于语料库的embedding方法的假设，即拥有相似的上下文。故而基于语料库的embedding方法训练出来的词向量是带有语义相关关系的。

相似关系指两个词的语义接近，这种关系在语料库中没有体现出来，故而可以考虑在训练的时候引入一些语义相似关系，有助于模型去生成带有这一类关系的词向量。

这里，我们考虑设计一个能训练出词语相关关系或相似关系的word embedding模型。根据上面的分析，我们需要一个带有词语相关关系的词典和一个带有语义相似关系的词典，方便我们在训练词向量的时候对模型的更新方向进行引导。

实践

词语相关关系词典可以从FreeAssociation项目中提取。词语语义相似关系词典可以从电子词典MyThes中提取。使用skip gram模型设计项目，分别用相关关系词典和相似关系词典对模型进行引导，最终分别得到带有语义相关关系和相似关系的两套词向量。项目代码放在这里，欢迎大家一起交流学习。

引用文献

[1] Specializing Word Embeddings for Similarity or Relatedness

词语语义的相关关系和相似关系量化相关推荐

直播预告 | 长文本知识抽取：基于语义分割的文档级三元组关系抽取
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...
java线程知识梳理_Java多线程——多线程相关知识的逻辑关系梳理
1 学习多线程知识的根本目标多线程知识的根本目标是:设计稳健的并发程序. 当然,本文无法回答这个实践性很强的问题(这与具体的业务相关,涉及到具体的策略),本文主要阐述相关知识之间的关系,希望初学者不 ...
【贪玩巴斯】Unity初学圣经Part2-C#基础——Day 01：C#基础之——命名空间、类、方法、变量的声明赋值和相关知识以及.NETC#关系讲解 2022年3月28日
C#基础之--命名空间.类.方法.变量的声明赋值和相关知识以及.NETC#关系讲解对应视频4-1至4-7 1.引入命名空间: 2.引入类.方法 3.变量的声明赋值 4.综合小练习 5. .NET的介 ...
论文阅读课3-GraphRel: Modeling Text as Relational Graphs for(实体关系联合抽取，重叠关系，关系之间的关系，自动提取特征）
文章目录 abstract 1.Introduction 2.相关工作 3.回顾GCN 4.方法 4.1第一阶段 4.1.1 Bi-LSTM 4.1.2 Bi_GCN 4.1.3 实体关系抽取 4.2 ...
笔记 ~ 第二章 - 2.2 关系操作、关系完整性、关系代数、关系演算
目录 1. 关系操作 (1)基本关系操作 ① 常用的关系操作 ② 关系操作的特点 (2)关系代数语言 ① 关系代数语言 ② 关系演算语言 ③ 具有关系代数和关系演算双重特点的语言 2. 关系的完整性 ...
关系型数据库（一）---关系数据模型与关系
文章目录前言一.数据模型 1.什么是数据模型 2.数据模型的基本要素 (1)数据结构 (2)数据操作 (3)数据的约束条件二.关系数据模型 1.关系数据模型的基本概念 (1)关系实例 (2)关系 ...
词语语义相似度计算简介
0. 动机武林高手经常从山川之间顿悟,并由山川之形变化出上乘武艺.风云之间的飘渺互动,实则也为实打实的科学.工程实践提供了指引.风是客观存在的,而只有籍由云,我们才能观察到它.在技术领域的日常工作中 ...
自然语言系列学习之表示学习与知识获取（七）利用关系路径进行关系抽取
接下来介绍另外一个方向是如何更好的利用知识图库里关系路径的信息进行关系抽取. 有一个非常直观的例子介绍关系路径的好处,如电影阿甘正传(上图),我们如果想要知道阿甘正传的语言是什么,可以通它的电影导演是 ...
【数据库系统】关系模型、关系、元组、属性、关系实例
文章目录关系模型关系元组属性关系实例关系模型要了解关系模型,先要了解数据模型. 数据模型是一个描述数据.数据联系.数据语义以及一致性约束的概念工具的集合,提供了一种描述物理层.逻辑层和视 ...

最新文章

热门文章