自然语言处理——AI领域“第一团宠”

NLP作为AI领域的认知智能，其动态一直都是业内专家学者关注的重点，尤其是随着深度学习的不断进步，通过深度学习技术让NLP得到长足发展，让机器早日理解人类丰富多变的语言，成为了众多AI爱好者和开发者的期待。

接下来童鞋们就跟着班主任一起来认识下被称为AI领域“第一团宠”的NLP，它能在日常中解决哪些问题，以及实操中会遇到的困难等。

为了让大家更直观地理解自然语言处理，班主任画了一幅图：

上图表明，计算机理解用户输入的各种语言的“谢谢”的过程。

由用户输入不同语言中“谢谢”的不同文本，计算机根据不同文本处理出不同语言的“谢谢”，最后再将这些结果反馈给用户。

其中这个过程包含了句法分析、自然语言处理和自然语言生成等相关技术。

NLP解决的日常问题

自然语言处理实际应用有如下几点：

A、检验和提取不同类别的反馈

通俗来讲，就是重点文本分析。例如通过一条微博、一篇新闻、一条朋友圈，研究不同的人对某件事的看法，通过研究对象正面或者负面的评论，采取进一步的决策。

B、精准识别指代内容

不同的目标群体在交流过程中会有不同的表达以及指代的方式，适当使用指代会使文本更加简练而且并不影响本意的阐述。

例如，遇到生僻字“燚”不知道拼音的时候，大多会求助一些搜索引擎：“四个火是什么？”，搜索引擎一定会告诉你“燚”念什么，而不是告诉我们这几个词表面的匹配结果。由此可见，计算机能够“理解”这些指代内容。

C、对给定文本进行分类

对给定的文本，给出预定义的一个或多个分类标签，再进行高效、准确的分类。其实这就是一个简单的特征提取过程，通过不同的特征进行不同的分类。

自然语言处理引起的歧义

A、自然语言的二义性引起的歧义

自然语言的二义性，其实说的就是自然语言中广泛存在的歧义现象。

比如：“兵乓球拍卖完了”可切分为“乒乓球/拍卖/完了”又可以切分为“乒乓球拍/卖/完了”。对于这两种切分都是正确的。也就是说，就算是人工分词也会产生歧义。

通过这两个例子我们可以看出，由于自然语言的二义性，句子存在着多种可能的组合方式或者句意，计算机在处理这些句子的时候就会费很大的劲。

B、上下文理解引起的歧义

所谓上下文，就是当前这句话所处的语言环境，这句话指代的主语、省略的部分、前后联系等等，都非常重要以及影响着这句话，因此上下文的理解是自然语言处理复杂性的一大体现。

即使是同一概念，不同的人也有不同的解读，所以人们在日常对话中也会有语句理解歧义。例如看下面一段对话：

A：今天一起吃饭吗？B：我妈今天从老家回来。

如果仅仅按照字面理解，B的语句是无法回答A的。实际上，B是告诉A，今天我妈来了，不能和A一起吃饭了，这是人际交往中的一种间接拒绝。

这就表明，相互之间的语言理解要借助语境推理，上下文理解不正确就会产生歧义。那么在计算机的自然语言处理中，要让计算机尽可能多的模拟人的智能，让机器具备人的上下文理解的功能。

消除歧义

由以上自然语言处理的歧义可以看出，NLP的关键在于消除歧义问题。而正确的消除歧义需要大量的知识，包括训练集的标注与添加、词典资源的建立。

下面班主任来介绍三种消除歧义的方法：

A、基于词典的消歧

拿词典中的定义和歧义词出现的上下文环境进行对比，选择覆盖度最大的作为该词的词义。

这种消歧方法思想很简单，但是消歧的准确率不是很高。

B、有监督消歧

让机器学习使用人工标记的数据，并与字典中的词语所代表的典型含义匹配。

例如，在「I often play with my friends near the bank」一句中，「bank」一词需要机器判断是银行还是河边。我们希望机器能够匹配句中单词最有可能表达的含义，让机器更深刻地理解自然语言。

C、无监督消歧

不管是基于词典的消歧还是有监督消歧，都需要训练集，而无监督消歧不需要这些预先知道的资源。

最简单的理解方式，就是把它比作考试。一般情况，每道题都有一个固定答案，对错代表分数的高低。那像作文只有题目没有固定答案，打分情况就要酌情而定。

人工智能科普｜自然语言处理（NLP）相关推荐

Interview之NLP：人工智能领域求职岗位—自然语言处理NLP算法工程师职位的简介、薪资介绍、知识结构之详细攻略
Interview之NLP:人工智能领域求职岗位-自然语言处理NLP算法工程师职位的简介.薪资介绍.知识结构之详细攻略目录自然语言处理NLP算法工程师的职位简介 1.资讯指数 2.各大公司的具体职 ...
人工智能自然语言处理NLP入门教程
导读:自然语言处理(NLP)是计算机科学,人工智能,语言学关注计算机和人类(自然)语言之间的相互作用的领域. 语言是人类区别其他动物的本质特性.在所有生物中,只有人类才具有语言能力.人类的多种智能都与 ...
自然语言处理NLP中文分词，词性标注，关键词提取和文本摘要
NLP相关工具包的介绍 1.1 jieba "结巴"中文分词,理念是做最好的 Python 中文分词组件. 支持三种分词模式: (1)精确模式,试图将句子最精确地切开,适合文本分析 ...
【组队学习】【28期】基于transformers的自然语言处理(NLP)入门
基于transformers的自然语言处理(NLP)入门论坛版块: http://datawhale.club/c/team-learning/39-category/39 开源内容: https: ...
国内有哪些自然语言处理(NLP)专业比较厉害的985高校？
来自 | 知乎作者 | 忆臻地址 | https://www.zhihu.com/question/291266315/answer/474662339 编辑 | 机器学习算法与自然语言处理国内 ...
自然语言处理NLP简介
自然语言处理NLP简介 NLP简介 1 引言人工智能.机器学习.深度学习什么是自然语言处理? 人工智能的流派 2 NLP发展历史人工智能发展历史推理期知识期学习期文本的预训练可分为两个重 ...
matlab分词NLP,自然语言处理NLP分词篇
自然语言处理NLP分词篇自然语言处理NLP[分词篇] NLP简介和三种分词模型 NLP逐渐成为人工智能一大热点研究方向,目前国外对英文分词的研究比较深入,而中文分词发展较缓.它需要联系上下文.作者背 ...
自然语言处理NLP快速入门
自然语言处理NLP快速入门 https://www.cnblogs.com/DicksonJYL/p/9809760.html [导读]自然语言处理已经成为人工智能领域一个重要的分支,它研究能实现人与 ...
视频教程-从零开始自然语言处理-NLP
从零开始自然语言处理楚门智能创始人,昆士兰理工大学数据科学硕士,多年大数据行业经验,原联想电商大数据平台负责人,Cloudera认证架构师.管理员,主要科研方向为数据科学,在自然语言处理领域有的经验 ...
自然语言处理NLP（11）——篇章分析与指代消解
在上一部分中,我们介绍了语义分析的基本内容(自然语言处理NLP(10)--语义分析),重点介绍了格文法和语义角色标注(SRL). 在这一部分中,我们将介绍篇章分析相关内容. 在介绍具体内容之前,我们首 ...

人工智能科普｜自然语言处理（NLP）

自然语言处理——AI领域“第一团宠”

NLP解决的日常问题

自然语言处理引起的歧义

消除歧义

人工智能科普｜自然语言处理（NLP）相关推荐

最新文章

热门文章