为什么NLP相对来说这么困难？
https://www.toutiao.com/a6647267978888888836/
2019-01-17 09:14:42
当我在思考这个问题的时候,不禁回想到了我的小时候就觉得非常神奇的IBM机器人沃森,这台机器人拥有当时人类所制造机器的最顶级的智慧,具有高级语言处理能力并且能够初步理解英语的能力.
初步来看,实现这样的一个能够和语言与人类进行交流的机器人,其中包括语音识别和自然语言处理(包括手语,唇语,肢体语言等)来与人类进行沟通,通过自然语言生成和语音合成来和人类进行交际,同时也需要进行信息检索和信息抽取,从而能够进行推理,根据已知的事实来得到结论.
语言处理中的一些困难:
我们把处理口语和书面语的计算技术称为语音和语言处理,合起来就算是自然语言处理,其实这是一个很广泛的定义,这个范围从人人皆知的比如分词计算,自动换行这样的相对简单的技术,直到比如微软小冰这样的自动回答,Google翻译这样的实时口语自动翻译的高级技术.
而自然语言处理相对于计算机视觉这样的其他人工智能的应用来说,自然语言处理需要从业人员有一定的语言知识,就好比我们在刚入门的时候用NLTK包来计算文本文件的词数,句数,以及上下文语句等.当我们如果用nltk上的处理字节数功能时,这就是一个简单的数据处理工具,而我们如果要去计算一篇文章中的词数,句数的时候,就需要让计算机知道什么是词,什么是句子,从哪里断句,从哪里开始的语言知识,这个时候工具就变成了一个自然语言处理系统.但是像是nltk这样的工具毕竟还是一个简单的系统,他的语言知识也比较有限,如果要其拥有跟我们人类有对话的语言能力,我们就必须要求系统拥有更加广泛和更加深刻的语言知识,因此这就需要从业人员拥有处理更加复杂系统所需的语言知识范围和种类的语言能力.
而计算机识别语音的时候,计算机也必须要分析他所能接受的声音信号,那些是噪音,那些是有用的知识,并且因此来说,为了生成回答进行反馈,计算机必须要把知识图谱中的回答进行整理组织成词的系列,并且能够生成出能够让人类是识别的语音信号.
当然,为了实现这些,我们就有用到phonetics和phonology的知识,这样的知识能够给帮我们如何建立模型来识别语句中的发音.
如果是处理词,又有很多的问题,比如说处理I’m和I am的这样的缩略词形式,如果要能够产生和识别单词这样那样的变体,其实这就又要需要形态学上的知识,希望能够反应关于上下文中词的形态和行为的有关信息.
另外,除了处理一个个单词以外,我们还要考虑如何生成一句话,并且能够按照我们的需求进行生成,这样我们有需要组词成句的知识,以及词汇语义学和组合语义学的知识
最后一个是最困难的,关于消除歧义:
例如“这房间就是个烤箱”、“这个房间就是个盒子”，虽然句式相同但都不是字面的意思，前者表示这个房间很热，后者则表示这个房间很小。要让计算机理解这些话的意思，不是仅仅做词表示甚至句法分析能解决的。也例如，语言理解实际是一个多模态过程，需要综合除语言之外的视觉、听觉甚至触觉等多模态的富语境信息才能实现真正的语言理解。我个人觉得，这些应该是自然语言理解/处理比较困难的地方。
自然语言理解/处理应该是实现通用人工智能的关键挑战，但似乎不应是最难挑战。语言能力是人类智能的集中体现，不过构建在语言等能力基础之上的思辨、决策和创造等能力，似乎都还没纳入人工智能主要探讨的范围，也许这些更困难些。例如，如何让机器像人一样思考哲学问题，像人一样指挥战争或运营商业公司，或像人一样发明创造？这些问题似乎都比自然语言理解/处理更困难。
即使限定在自然语言处理，当前关心的问题也更偏重自然语言传递信息的工具属性上，也就是如何让计算机更准确地理解一句话的字面意思。人类语言更富魅力的“言有尽而意无穷”的特点，还远未被探索。
为什么NLP相对来说这么困难？相关推荐
- 2019年上半年收集到的人工智能自然语言处理方向干货文章
2019年上半年收集到的人工智能自然语言处理方向干货文章 自然语言(NLP)发展史及相关体系 读了这篇文字,做年薪百万的NLP工程师 聚焦机器"读.写.说.译",探寻NLP未来之路 ...
- 参数量110亿，附赠750GB数据集，Google提NLP预训练模型T5
整理 | Just,夕颜 出品 | AI科技大本营(ID:rgznai100) 近日,Google 在最新一篇共有 53 页的论文<Exploring the Limits of Transfe ...
- 4后期盒子叫什么_考研：什么叫跨考专业？跨考专业的4大原因和存在3个方面的困难...
由于年底工作上的事情比较多,在自媒体日更文章,已经成了一种习惯,最近我主要写的是考研话题. 今天,是写相关考研话题的第21天,很高兴能帮助大家,这也是我写文章的价值所在.在评论区逛的时候,我发现有宝宝 ...
- 人工智能自然语言处理NLP入门教程
导读:自然语言处理(NLP)是计算机科学,人工智能,语言学关注计算机和人类(自然)语言之间的相互作用的领域. 语言是人类区别其他动物的本质特性.在所有生物中,只有人类才具有语言能力.人类的多种智能都与 ...
- 如何备考上海市高等学校计算机一级,计算机一级考试备考攻略
操作题重难点分析 基本操作题相对来说不是很复杂,主要考核文件或文件夹的一些常规操作,重点需要掌握创建快捷方式.搜索文件.设置文件属性的方法. 上网题分为两种题型,分别是 IE 浏览器的考核和 Outl ...
- 国际基因编辑科技发展报告
来源:全球技术地图 作者:贾晓峰 中国科学技术信息研究所 摘要:以特异性的改变遗传物质靶向基因序列为目标的基因编辑技术是近年生命科学领域最热门的研究领域之一.围绕基因编辑的相关领域研究和人物事件连续多 ...
- 卡耐基梅隆大学提出新型「自适应」技术，可提高「个性化神经机器翻译」质量...
原文来源:arXiv 作者:Paul Michel.Graham Neubig 「雷克世界」编译:嗯~是阿童木呀 导语:现如今,随着人工智能的发展,机器翻译在一定程度上取得了很大的进展,但是大家都知道 ...
- 软件行业里学历和资历哪个更重要？
今天在知乎看到一个问题邀请我回答,问:软件行业里学历和资历那个更重要?其实这个问题本身就有问题,学历和资历并不是一个相对的矛盾体,他们俩之间没有必然的联系.说实话,学历和资历分开来说都并不能完全代表你 ...
- PowerShell_5_零基础自学课程_5_自定义PowerShell环境及Powershell中的基本概念
据我个人所知,windows下的cmd shell除了能够通过修改系统参数来对其中的环境变量进行改变外,其环境的可自定义性相对来说很困难,而在Linux环境中,可以通过修改/etc目录下的某些配置文件 ...
最新文章
- 旷视孙剑博士提出LGD，训练速度提升51%，适用于目标检测的知识蒸馏
- （五）Docker镜像管理2之nginx镜像制作
- c#同步 oracle数据,利用C#实现数据同步功能 | 学步园
- HDU - 1560 DNA sequence
- 聊聊我对开发项目选技术的看法
- python合并多个pdf_pypdf将多个pdf文件合并到一个pd中
- MongoDB之在mac上设置环境变量
- mysql数据库模型相应解释_数据库事务系列－MySQL跨行事务模型
- 【剑指 offer】（31）—— 连续子数组的最大和（动态规划）
- 解题：NOI 2016 优秀的拆分
- 小明开了一家糖果店、把水果糖包成4颗一包和7颗一包的两种。糖果不能拆包卖 小朋友来买糖的时候，他就用两种包装来组合，当然有些糖果数目是无法组合出来的，比如要买10颗糖 在这种包装情况下，最大不能买到
- java文件的打包和解包,Java包装类:什么是包装类对象，什么是打包和解包，当编译遇到自动打包和解包时会发生什么？...
- 栅栏密码解密——Java实现
- 怎样在html中写css样式,css样式应该怎么写？
- 详解数据库的第一范式、第二范式、第三范式、BCNF范式
- 两个PDF比较标出差异_怎样核对两份word文档内容差异？我用2小时，同事仅用2分钟搞定...
- 微信公众号开发之生成带参数的二维码
- 详解JS中的TDZ（暂时性死区）
- android拍照保存照片方向,Android:Camera2开发详解(上)：实现预览、拍照、保存照片等功能...
- 用AI取代SGD？无需训练ResNet-50，AI秒级预测全部2400万个参数，准确率60% | NeurIPS 2021...