NLP到底有多难？我们笑了，NLP 却忍不住哭了！

9102年了，代沟又有了新的定义，比如，你和妈妈对“潮”的理解：

「潮」字引发的歧义对我们而言是个有趣的段子，但对研究人员来说，这是现实中需要克服的问题。

无论是Siri、小爱同学、智能家居、伴读机器人、谷歌/百度翻译，想要良好运行，完成对话、翻译、执行任务的使命，都必须理解人类的语言。

文本理解有多难？

歧义、多义、断句、识别名词，要想正确的理解文本内容，毫无疑问必须具备英文八级、中文十级的水平：

˙﹏˙ → 宝宝的经纪人睡了宝宝的宝宝，宝宝不知道宝宝的宝宝是不是宝宝的亲生的宝宝，宝宝的宝宝为什么要这样对待宝宝！

˙﹏˙ →论标点符号的重要

˙﹏˙ → 评论里都是大佬系列

˙﹏˙ →

A：你的公司叫什么名字？

B：宝鸡有一群怀揣着梦想的少年&ノ¢？/&......

A：我问你公司名字

B：宝鸡有一群怀揣着梦想的少年相信在牛大叔的带领下&ノ¢？/&......

A：深井冰！

˙﹏˙ →林俊杰：？？？？？╯▽╰

˙﹏˙ →

去年有位同学

把上传一卡通照片理解为：

上传一“卡通”照片

传了个奥特曼上去

希望今年不要再有此事了

这也不仅限于汉语，英语也一样：

˙﹏˙ →

I am a Huge Metal Fan

一层意思指，我是个金属大电扇，

另一层意思也指，我是个重金属乐迷。

进击的NLP

尽管比尔·盖茨在多年前就曾说过「语言理解是人工智能皇冠上的明珠。自然语言处理的进步将会推动人工智能整体进展。」

但是由于难度系数过高，这么多年过去了，自然语言理解至今却依然存在较高的错误率。

MIT的刘群教授苦中作乐，在微博开了一个#自然语言理解太难了#话题，至今已有500万热度。

该领域的学生们也是苦不堪言：

苹果的Siri是最多人接触的人工智能了，可如今仍然会时刻转变成人工智障。

以上这些语句，人类理解起来尚且费力，要想让机器来搞懂意思，更是难上加难啊。

不过，困难从来不能组织科技前进。机器学习的能力，也愈发不容小觑。

比如这句：「 我也想过过过儿过过的生活。」

清华的刘知远老师用Stanford Parser测试的结果看来，除了“过儿”这个名词实体识别失败，其它还是很不错：

我/PN 也/AD 想过/VV 过过/VV 儿/NN 过过/VV 的/DEC 生活/NN 。

用哈工大模型跑出来更好，已经可以非常准确的识别出主体，句子分词也很不错：

还有这个新闻频道的经典场面：

在百度、谷歌翻译上的结果表现都非常好。

谷歌翻译结果

百度翻译结果

随着深度学习的爆发，CNN、RNN、LSTM 的出现，让NLP又有了全新的发展。到了2019年，使用 Transformer的 BERT 和 GPT-2 表现更是引爆业界。

可以预见，NLP在未来几年将步入快速发展阶段。

最后，我们一起来看看纪晓岚的鬼才编剧们，怎么玩转NLP谐音梗的～

让别人知道你在看?

NLP到底有多难？我们笑了，NLP 却忍不住哭了！相关推荐

NLP到底现在在研究些什么？从ACL2023投稿领域及细分领域看一看
1. 引言我们经常会被外行人问到,现在自然语言处理到底在研究些什么啊? 也经常会被内行人问到,你是做NLP的吗?你是做哪个方向的? 正好借ACL的调查问卷,梳理一下NLP现在到底都在研究些什么. 2 ...
Stanford NLP 解读 ACL 2018 论文——用于调试 NLP 模型的语义等价对立规则
Stanford NLP 解读 ACL 2018 论文--用于调试 NLP 模型的语义等价对立规则本文作者:王雪佩 2019-02-23 20:13 专题:ACL 2018 导语:新鲜出炉的论文解读 ...
12年前的高考到底有多难，只在这一道题上就看出来了...
▲ 点击查看 2008年高考江西数学考卷的最后一题,说是高考史上最恐怖的数学题,应该没有异议. 这道题到底有多难呢? 最后这道压轴题一共是14分.考试结果出来,所有考生的平均分是0.31分. 曾有一位 ...
NLP预训练家族 | Text-To-Text范式统一NLP任务
作者 | 周俊贤整理 | NewBeeNLP 前情提要: 万字梳理!BERT之后,NLP预训练模型发展史 NLP预训练家族 | Transformer-XL及其进化XLNet YYDS!一个针对中文 ...
自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101 第16章：Kaggle BERT比赛CommonLit Readability Prize赛题解析
自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101 第16章:Kaggle BERT比赛CommonLit Readability Prize赛题解析第16章: ...
辽宁计算机考研学校二本,二本院校逆袭985到底有多难？
[摘要]二本院校逆袭985到底有多难?如何能够从一个普通二本院校突围到985院校?要想突围成功应该具备什么样的条件?或者说,该如何脱颖而出?下面考研过来人分享了自己的经验以及观点,希望各位有类似疑惑的 ...
手机+卫星，到底有多难？
这几天,关于卫星手机的新闻又火了. 根据媒体报道,9月6日即将发布的华为Mate 50系列手机,将具备"卫星通信能力",在没有网络的地方,可通过卫星系统发送紧急短信. 无独有偶,另 ...
设计一款CPU芯片到底有多难？
文章结构导读一颗芯片是怎么诞生的? 一款CPU是如何设计出来的? 设计一款CPU到底难在哪里? 导读这几天,刷遍朋友圈的新闻就是:中兴被"一剑封喉",被美国停止一切芯片进口和 ...
设计一款CPU到底有多难？
文章结构导读一颗芯片是怎么诞生的? 一款CPU是如何设计出来的? 设计一款CPU到底难在哪里? 导读这几天,刷遍朋友圈的新闻就是:中兴被"一剑封喉",被美国停止一切芯片进口和 ...

NLP到底有多难？我们笑了，NLP 却忍不住哭了！

NLP到底有多难？我们笑了，NLP 却忍不住哭了！相关推荐

最新文章

热门文章