四、自然语言处理的主要挑战

1.自然语言处理的主要挑战

1.1 自然语言处理的主要挑战包括

基本问题
主要困难
NLP的研究内容有5大难点：没有规律、自由组合、开放集合、知识依赖和上下文信息。

2 NLP的基本问题

2.1 基本问题之一：形态学习问题

研究词有意义的基本单位——词素的构成问题
单词的识别/汉语的分词问题
词素：词根、前缀、后缀、词尾
例如：人，老虎=老+虎，图书馆=图+书+馆

2.2基本问题之二：句法问题

研究句子结构成分之间的相关关系和组成句子序列的规则
为什么一句话可以这么说也可以那么说？
如何建立快速有效的句子结构分析方法？

2.3 基本问题之三：语义问题

研究如何从一个语句中词的意义，以及这些词在该语句中句法结构的作用来推导出该句的意义。
这句话说了什么？

2.4 基本问题之四：语用学问题

研究在不同上下文中语句的应用，以及上下文对语句理解所产生的影响。从狭隘的语言学观点看，语用学出来的语言结构中有形式体现的那些语境。相反，语用学最宽泛的定义是研究语义学未能涵盖那些意义。
为什么要说这句话？

3 NLP的主要困难

3.1 困难之一：大量的歧义现象

自动化研究所取得的成就.
门把手弄坏了.

3.2 困难之二：结构歧义

3.3 机器翻译中映射单元的不对等性

词法表达不同、句法结构不一致、语义概念不对等。

3.4 归纳起来，NLP所面临的问题

普遍存在的不确定性：词法、句法、语义、语用和语音各个层面
未知语言现象的不可预测性：新的词汇、新的术语、新的语义和语法无处不在
始终面临的数据不充分性：有限的语言集合永远无法涵盖开放的语言现象
语音知识表达的复杂性：语义知识的模糊性和错综复杂的关联性难以用常规方法有效的描述，为语义计算带来了极大的困难。

四、自然语言处理的主要挑战相关推荐

（四）52周存钱挑战3.0-----for循环遍历列表、range()
for 循环 • 使用for语句可以循环遍历整个序列的内容for < x > in < list1 >:<body> • 循环变量x在每次循环时,被赋值成对应的元素 ...
第四期 | 带学斯坦福CS224n自然语言处理课+带打全球Kaggle比赛（文末重金招募老师！）...
在未来五年,你认为人工智能领域最具有商业价值的方向是什么? 上个月我和一个算法工程师朋友聊了聊,询问算法岗的行业薪资,他说现在计算机视觉算法岗工程师年薪大约50万左右,正当我感叹如今计算机视觉的火爆时 ...
干货丨一文看懂什么是“自然语言处理”
作者:武汉飔拓科技一.什么是自然语言处理简单地说,自然语言处理(NaturalLanguage Processing,简称NLP)就是用计算机来处理.理解以及运用人类语言(如中文.英文等),它属于 ...
区别于传统低效标注，两种基于自然语言解释的数据增强方法
本文内容整理自 PaperWeekly 和 biendata 在 B 站组织的直播回顾,点击文末阅读原文即可跳转至 B 站收看本次分享完整视频录像,如需嘉宾课件,请在 PaperWeekly 公众号回 ...
自然语言处理（NLP）发展历程（1），什么是自然语言处理?
一.什么是自然语言处理(NLP) 首先先了解一下什么是自然语言,自然语言是人类社会发展过程中自然产生的语言,是最能体现人类智慧和文明的产物,也是大猩猩与人的区别(2019斯坦福cs224n,les ...
给外行能看懂的科普：这就叫自然语言处理
自然语言处理 Natural Language Processing 一.什么是自然语言处理简单地说,自然语言处理(Natural Language Processing,简称NLP)就是用计算机来 ...
自然语言处理学习笔记1：自然语言处理介绍
给外行能看懂的科普:这就叫自然语言处理如何向文科同学科普自然语言处理(NLP)? 刘知远,NLPer 前几年曾经马少平老师的引荐,为某科普图书写过一篇短文介绍自然语言处理.如果只是介绍NLP的概念 ...
自然语言处理（NLP）简介
目录一.什么是自然语言处理二.自然语言处理的主要困难 2.1 单词界定问题 2.2 短语级别歧义问题 2.3 上下文知识的获取问题 2.4 背景知识问题三.自然语言处理的发展趋势四.与计算机视 ...
NLP自然语言处理简介
作者:刘知远.清华大学计算机系副教授.博士生导师.主要研究方向为表示学习.知识图谱和社会计算.2011年获得清华大学博士学位,已在ACL.IJCAI.AAAI等人工智能领域的著名国际期刊和会议发表相关 ...

四、自然语言处理的主要挑战

1.自然语言处理的主要挑战

1.1 自然语言处理的主要挑战包括

2 NLP的基本问题

2.1 基本问题之一：形态学习问题

2.2基本问题之二：句法问题

2.3 基本问题之三：语义问题

2.4 基本问题之四：语用学问题

3 NLP的主要困难

3.1 困难之一：大量的歧义现象

3.2 困难之二：结构歧义

3.3 机器翻译中映射单元的不对等性

3.4 归纳起来，NLP所面临的问题

四、自然语言处理的主要挑战相关推荐

最新文章

热门文章