语义分析(Semantic Analysis):指运用各种机器学习方法,学习与理解一段文本所表示的语义内容。

一段文本通常由词、句子和段落来构成,根据理解对象的语言单位不同,语义分析又可进一步分解为:

  • 词汇级语义分析;
  • 句子级语义分析;
  • 篇章级语义分析;

一般来说:

  • 词汇级语 义分析关注的是如何获取或区别单词的语义;
  • 句子级语义分析则试图分析整个句子所表达的 语义,
  • 篇章语义分析旨在研究自然语言文本的内在结构并理解文本单元(可以是句子从句 或段落)间的语义关系。

一、“词汇级”语义分析

1、词义消歧(词汇级)

词义消歧根据一个多义词在文本中出现的上下文 环境来确定其词义,作为各项自然语言处理的基础步骤和必经阶段被提出来。词义消歧包含 两个必要的步骤:(1)在词典中描述词语的意义;(2)在语料中进行词义自动消歧。例如“苹 果”在词典中描述有两个不同的意义:一种常见的水果;美国一家科技公司

词义消歧主要面临如下两个关键问题:(1)词典的构建;(2)上下文 的建模。

2、词义表示和学习(词汇级)

One-hot
这种方法把每个词表示为一个很长的向量。这 个向量的维度是词表大小,其中绝大多数元素为 0,只有一个维度的值为 1,这个维度就代表了当前的词。

Word Embedding
通过训练将某种语言中的每一个词映射成一个固定维数的向量,将所 有这些向量放在一起形成一个词向量空间,而每一向量则可视为该空间中的一个点,在这个 空间上引入“距离”,则可以根据词之间的距离来判断它们之间的(词法、语义上的)相似性。

二、“句子级”语义分析

1、浅层语义分析(句子级)

语义角色标注(Semantic Role Labeling,简称 SRL)是一种浅层的语义分析。

给定一个 句子,SRL 的任务是找出句子中谓词的相应语义角色成分,包括核心语义角色(如施事者、 受事者等)和附属语义角色(如地点、时间、方式、原因等)。

根据谓词类别的不同,又可 以将现有的 SRL 分为动词性谓词 SRL 和名词性谓词 SRL。

浅层语义分析主要围绕着句子中的谓词,为每个谓词找到相应的语义角色

2、深层语义分析(句子级)

深层的语义分析(有时直接称为语义分析,Semantic Parsing)不再以谓词 为中心,而是将整个句子转化为某种形式化表示,例如:谓词逻辑表达式(包括 lambda 演 算表达式)、基于依存的组合式语义表达式(dependency-based compositional semantic representation)等 。

以下给出了 GeoQuery 数据集中的一个中英文句子对,以及对应的一 阶谓词逻辑语义表达式:
中文: 列出在科罗拉多州所有的河流
英文: Name all the rivers in Colorado
语义表达式: answer(river(loc_2(stateid(‘colorado’))))

深度语义分析主要面临如下二个关键问题。

  • 普通文本到实体/关系谓词之间的映射。自然语言的一个主要特点在于其表达形式 的丰富多样性,对同样的表达意思(如某个语义表达式),不仅可以使用不同的语 言进行表达。如何建立普通文本到实体/关系之间的映射是一个关键问题。
  • 面向开放领域的语义分析。受标注语料的限制,目前的很多语义分析研究都限于 某一特定领域。随着面向开放领域的知识库的构建及完善,如 Freebase 等,人工 大规模标注涉及各领域的语义表达式是个费时费力的过程。为此,需要探索基于半 监督或无监督的语义分析研究



参考资料:
自然语言处理(NLP)语义分析–文本分类、情感分析、意图识别
NLP知识包–语义分析&智能问答&工具

自然语言处理(NLP)语义分析:“词汇级”语义分析【词义消歧、词义表示和学习】、“句子级”语义分析【浅层语义分析(语义角色标注)、深层语义分析】相关推荐

  1. NLP知识包--语义分析-语义角色标注

    源于文本分析课程 语义分析 自然语言处理层次(从下到上)(层次是固定的吗?这样的层次对NLP研究有什么帮助?) 语用分析 语义分析 句法分析 词法分析 语音分析 语义分析 目标:信息检索.自动问答.填 ...

  2. 自然语言处理基础技术之语义角色标注

    今天是总结nlp基础技术的最后一篇,后面开始工具实战篇,我觉得实践对新手小白入门是相当有帮助的~~ #语义角色标注定义: 维基百科定义:Semantic role labeling, sometime ...

  3. 生成句法分析树以及从一个小例子来看词义消歧及语义角色标注

    一.生成句法分析树 把一句话按照句法逻辑组织成一棵树,由人来做这件事是可行的,但是由机器来实现是不可思议的,然而算法世界就是这么神奇,把一个十分复杂的过程抽象成仅仅几步操作,甚至不足10行代码,就能让 ...

  4. 自然语言处理(NLP)之词义消歧(WSD)的简介与实现

    词义消岐简介 词义消岐,英文名称为Word Sense Disambiguation,英语缩写为WSD,是自然语言处理(NLP)中一个非常有趣的基本任务. 那么,什么是词义消岐呢?通常,在我们的自然语 ...

  5. NLP 迷思之四:词义消歧(WSD)是NLP应用的瓶颈

    本文转载自http://blog.sciencenet.cn/blog-362400-526304.html 引用老友: 受教了.谢谢立委. 我同意"成语从来不是问题".成问题的应 ...

  6. 自然语言处理之使用gensim.Word2Vec训练词向量进行词义消歧

    自然语言处理之使用gensim.Word2Vec训练词向量进行词义消歧 NLP中进行词义消歧的一个非常方便且简单的方法就是训练词向量,通过词向量计算余弦值,来推断某个词在句子中的含义.python中的 ...

  7. 自然语言处理(NLP)之pyltp的介绍与使用(中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注)

    pyltp的简介   语言技术平台(LTP)经过哈工大社会计算与信息检索研究中心 11 年的持续研发和推广, 是国内外最具影响力的中文处理基础平台.它提供的功能包括中文分词.词性标注.命名实体识别.依 ...

  8. 【NLP入门教程】七、词义消歧

    词义消歧(Word Sense Disambiguation, WSD)其目标是确定文本中词汇的正确含义.由于许多单词具有多种含义,词义消歧对于理解和分析文本具有关键作用. 1. 词义消歧的挑战 词义 ...

  9. 大规模数据的词义消歧的混合词义分类方法——阅读整理总结

    介绍: 尽管最近的研究证明了神经语言模型的优越性,但是WSD研究的范围仍然是几个单词的意义只能在几个领域中确定.因此,有必要朝着开发一个高度可扩展的过程的方向发展,这个过程可以处理在不同领域中出现的词 ...

  10. 基于在线百科知识库的多义词词义消歧项目

    WordMultiSenseDisambiguation WordMultiSenseDisambiguation, chinese multi-wordsense disambiguation ba ...

最新文章

  1. H5使用百度地图SDK获取用户当前位置并且标记显示在地图
  2. 万分之二用百分之怎么表示_2020年元旦放假通知!周三放1天!不挪假连休,你打算怎么安排?...
  3. invalid value encountered in double_scalars
  4. 阻塞队列的应用 || 多线程的条件判断 一定要用while,而不要用 if
  5. 普林斯顿大学算法课 Algorithm Part I Week 3 自我总结
  6. 前端设置画布的高度_Table问题,设置了一个手机页面的Table高度问题
  7. 保证业务高效运营 专有云虚拟网络是关键
  8. 《Migrating to Cloud-Native Application Architectures》学习笔记之Chapter 2. Changes Needed
  9. 5.1.4 SELECT+RIGHT JOIN读取数据
  10. 联想拯救者Y90电竞旗舰正式入网:搭载三星E4 OLED屏 支持144Hz刷新率
  11. 提高网站性能的方法(学习笔记)
  12. cent os 7 mysql_centos – 百胜:Cent OS 7中没有包mysql-server
  13. 小程序中的api接口请求封装
  14. java 使用poi导出excel柱状图
  15. Array Implementation of min-Heaps 最小堆数组实现
  16. 第5章-1 输出星期名缩写 (70 分)
  17. 利用MSXSL.exe绕过AppLocker应用程序控制策略
  18. Dual Illumination Estimation for Robust Exposure Correction阅读札记
  19. 【数据结构】查找算法
  20. UI 设计代码化:低代码式设计语言 —— Unflow

热门文章

  1. HttpClient之Java爬虫工具
  2. 如何一键查看你的QQ/绑定了多少应用?
  3. 加密视频如何破解 如何解除机器码绑定的视频
  4. 【C】VC6调试器的使用
  5. java名字自动生成_Java名字生成器
  6. java发送带附件的邮件_Java发送邮件(带附件)
  7. 工具:帆软FineBI使用指南
  8. 如何用 Nginx 禁止国外 IP 访问网站 ?
  9. 编程小工具总结(一) 取色器
  10. Eclipse反编译插件(免费无需下载资源)