人工智能的下个十年在推理?
描述性统计和推论性统计那个更有说服力?
清华大学计算机系唐杰教授最近有做一个主题报告《人工智能下一个十年》,先阐述了最近快速发展的算法,并思考人工智能的未来到底是什么?相信做AI的都会思考这样一个问题,这东西究竟靠谱吗?唐杰教授对未来的期望主要是说认知图谱:
认知图谱
对于解决复杂的逻辑推理问题,计算机可能只会找到局部的片段,仍然缺乏一个在知识层面上的推理能力,这是计算机所欠缺的。人在这方面具有先天的优势,而计算机缺乏类似的能力。
认知图谱的核心概念是知识图谱+认知推理+逻辑表达。希望用知识表示、推理和决策,包括人的认知来解决问题。
图灵奖获得者 Yoshua Bengio
和Yann Lecun
在最近的Neurips
和AAAI
会议上也提到过的一个方法System 1
到System 2
。基本的思想是结合认知科学中的双通道理论。在人脑的认知系统中存在两个系统:System 1 和 System 2。System 1 :是一个直觉系统,它可以通过人对相关信息的一个直觉匹配寻找答案,它是非常快速、简单的;而 System 2: 是一个分析系统,它通过一定的推理、逻辑找到答案。二者相辅相成。
在 System 1
中我们主要做知识的扩展,在 System 2
中我们做逻辑推理和决策。比如System 1
提供解决问题的方法,而System 2
则决策这个方法是否合理,并提供有效信息给System 1
,System 1
基于此再做知识扩展。
比如自然语言处理中,System 1
是一个直觉系统,我们用 BERT
来实现,实现了以后,我们就可以做相关的信息的匹配;System 2
就用一个图卷积网络来实现,在图卷积网络中可以做一定的推理和决策。
可以看到基于推理的算法似乎比单纯的基于统计的算法更让人兴奋。事实确实如此,那更具体一点的描述会是什么样子的呢?
举例说明
为什么说基于一定推理的统计会比单纯的统计会好一点呢?或者说更偏向通用人工智能呢?
举个例子:共有11 个罐子,标记为μ∈{0,1,2,⋯,10}\mu \in \{0,1,2,\cdots,10\}μ∈{0,1,2,⋯,10}, 每个罐子里装着10 个球。罐子uuu 中装着uuu 个黑球和10−u10 - u10−u 个白球。小明随机地选定罐子uuu, 并从这个罐子中有放回地取球NNN 次,结果nBn_{B}nB 次抽到黑球, N−nBN-n_{B}N−nB 次抽到白球。小明的朋友小红在一旁观看。
先求一个后验概率分布,看一下求解过程:
如果N=10N=10N=10 次后抽到nB=3n_{B} = 3nB=3 次黑球,那么从小红的角度来看,小明所选罐子是uuu的概率是多少?(注意:小红并不知道uuu 的数值。)
解答:其实就是要求P(u∣nB,N)P(u|n_{B},N)P(u∣nB,N),利用贝叶斯定理将其展开可得:
P(u∣nB,N)=P(u,nB∣N)P(nB∣N)=P(nB∣u,N)P(u)P(nB∣N)\begin{aligned} P\left(u | n_{B}, N\right) &=\frac{P\left(u, n_{B} | N\right)}{P\left(n_{B} | N\right)} \\ &=\frac{P\left(n_{B} | u, N\right) P(u)}{P\left(n_{B} | N\right)} \end{aligned}P(u∣nB,N)=P(nB∣N)P(u,nB∣N)=P(nB∣N)P(nB∣u,N)P(u)
对于所有的uuu,其边缘概率P(u)=111P(u)=\frac{1}{11}P(u)=111(或者称作uuu的先验概率)。
如果选定罐子uuu,那么抽中黑球的概率fu=u10f_{u}=\frac{u}{10}fu=10u,此时P(nB∣u,N)P\left(n_{B} | u, N\right)P(nB∣u,N)(称作uuu的似然)可表示为:
P(nB∣u,N)=(NnB)funB(1−fu)N−nBP\left(n_{B} | u, N\right)=\left(\begin{array}{l} N \\ n_{B} \end{array}\right) f_{u}^{n_{B}}\left(1-f_{u}\right)^{N-n_{B}}P(nB∣u,N)=(NnB)funB(1−fu)N−nB
而P(nB∣N)P\left(n_{B} | N\right)P(nB∣N)是nBn_{B}nB的边缘概率,利用加法律得到如下等式:
P(nB∣N)=∑uP(u,nB∣N)=∑uP(u)P(nB∣u,N)P\left(n_{B} | N\right)=\sum_{u} P\left(u, n_{B} | N\right)=\sum_{u} P(u) P\left(n_{B} | u, N\right)P(nB∣N)=u∑P(u,nB∣N)=u∑P(u)P(nB∣u,N)
其实就是来个某个罐子uuu的情况除以所有的情况。在nB=3n_{B}=3nB=3 时, u=0u=0u=0 的后验概率等于0, 因为如果小明是从罐子0 中取球,则不可能取到黑球。u=10u=10u=10 时的后验概率也等于0, 因为这个罐子中没有白球。
其计算结果如下图所示:
假定小红在N=10N= 10N=10次抽取中观察到黑球出现了 nB=3n_{B}=3nB=3 次,让小明从同一罐子中再抽取一个球。下面抽得的球是黑球的概率是多少?
解答根据加法律,有:
P(球 N+1是黑球 ∣nB,N)=∑uP(球 N+1是黑球 ∣u,nB,N)P(u∣nB,N)P\left(\text { 球 } N+1 \text { 是黑球 } | n_{B}, N\right)=\sum_{u} P\left(\text { 球 } N+1 \text { 是黑球 } | u, n_{B}, N\right) P\left(u | n_{B}, N\right)P( 球 N+1 是黑球 ∣nB,N)=u∑P( 球 N+1 是黑球 ∣u,nB,N)P(u∣nB,N)
因为球是从给定的罐子中取出并放回的,所以无论nBn_{B}nB和NNN 的值是什么,概率P(球N+1是黑球∣u,uB,N)P( 球N+1 是黑球|u,u_{B} ,N)P(球N+1是黑球∣u,uB,N)等于fu=u/10f_{u}=u/10fu=u/10。于是有:
P(球 N+1是黑球 ∣nB,N)=∑ufuP(u∣nB,N)P\left(\text { 球 } N+1 \text { 是黑球 } | n_{B}, N\right)=\sum_{u} f_{u} P\left(u | n_{B}, N\right)P( 球 N+1 是黑球 ∣nB,N)=u∑fuP(u∣nB,N)
利用图(2.6) 中给出的概率P(u∣nB,N)P(u|n_{B},N)P(u∣nB,N)的值,可得:
P(球 N+1是黑球 ∣nB=3,N=10)=0.333P\left(\text { 球 } N+1 \text { 是黑球 } | n_{B}=3, N=10\right)=0.333P( 球 N+1 是黑球 ∣nB=3,N=10)=0.333
那上述过程如果用统计的思想来做,首先选取看上去最可能的假设(在这里,最可能的罐子是罐子u=3u =3u=3), 然后假设该假设为真,并做出预测(这会得出这样一个结果:下一个抽得的球是黑球的概率为0. 3) 。
而正确的预测会通过在假设uuu 的所有可能值上进行边缘化(marginalize) , 把不确定性考虑进去。这里的边缘化会给出一个更合适的、不那么极端的预测。
可以看到,基于贝叶斯的学习算法比单纯的统计学习更好一点。
参考资料
- 清华大学唐杰教授-《人工智能下一个十年》
- 《信息论、推理与学习算法》
- From System 1 Deep Learning to System 2 Deep Learning:https://drive.google.com/file/d/1zbe_N8TmAEvPiKXmn6yZlRkFehsAUS8Z/view
人工智能的下个十年在推理?相关推荐
- Python并非为AI而生,Golang将统治人工智能的下一个十年?
过去几年,Python成为人工智能和数据科学领域最受欢迎的编程语言.但是随着5G时代的来临,生产环境对AI应用的性能要求越来越高,Python有点「力不从心」.天生支持并发的Golang应运而生,专家 ...
- 张亚勤、韦乐平等综述论文:通信人工智能的下一个十年
来源:专知 [摘 要]移动通信技术走过了37年的发展历程,人工智能技术也已走过了64年的发展历程.从早期的各自独立演进,到5G与人工智能开始深度融合发展,"5G与人工智能"已被业界 ...
- AI开发者大会:2020年7月3日09:50--10:10唐杰《人工智能的下一个十年》
AI开发者大会:2020年7月3日09:50--10:10唐杰<人工智能的下一个十年> 导读:人工智能的第三次浪潮中,超越深度学习-ML和DL需要结合符号AI:自监督学习将会大放异彩. N ...
- AIProCon在线大会笔记之清华大学唐杰教授:人工智能的下一个十年
AIProCon在线大会笔记 人工智能的下一个十年 AI趋势:从感知到认知 第三代人工智能 认知图谱(Cognitive Graph) 挑战性:可解释性 人工智能的下一个十年 清华大学 计算机科学与技 ...
- AI:2020北京智源大会与五位图灵奖得主和100多位专家《共同探讨人工智能的下一个十年》——6月21日~6月24日的日程安排(实时更新,建议收藏)
AI:2020北京智源大会与五位图灵奖得主和100多位专家<共同探讨人工智能的下一个十年>--6月21日~6月24日的日程安排(实时更新,建议收藏) 导读:2020年,是一个十年的结束,也 ...
- 人工智能选go还是python_Python不是为AI而生的,Golang会支配人工智能的下一个十年吗?...
近年来,Python成为人工智能和数据科学领域最受欢迎的编程语言. 但是,随着5G时代的到来,生产环境对AI应用的性能要求越来越高,Python说有点"力所不及". 天生支持同时性 ...
- 清华唐杰教授:人工智能的下一个十年,认知推理是重点(附PPT下载)
来源:学术头条 本文约4400字,建议阅读5分钟 本文为大家带来<人工智能下一个十年>的主题报告. 标签:人工智能 2020 年 3 月 25 日,智源研究院学术副院长.清华大学计算机系唐 ...
- 清华大学教授:唐杰——深度分析:人工智能的下个十年
来源:图灵人工智能 唐杰教授从人工智能发展的历史开始,深入分析人工智能近十年的发展,阐述了人工智能在感知方面取得的重要成果,尤其提到算法是这个感知时代最重要.最具代表性的内容. 重点讲解了 BERT. ...
- Hinton等6位图灵奖得主、百余位顶级学者邀你加入群聊,共话人工智能下一个十年...
Geoffrey Hinton等6位图灵奖得主亲临,百余位顶级学者邀请你加入群聊「2020北京智源大会」,深入系统探讨「人工智能的下一个十年」. 自2009年深度学习崛起以来,第三波人工智能浪潮席卷全 ...
- AI:2020年6月22日北京智源大会演讲分享之19:00-19:40《 圆桌论坛:人工智能产业的下一个十年》
AI:2020年6月22日北京智源大会演讲分享之19:00-19:40< 圆桌论坛:人工智能产业的下一个十年> 导读:首先感谢北京智源大会进行主题演讲的各领域顶级教授,博主受益匪浅,此文章 ...
最新文章
- 阿里发布AliGenie2.0系统,“百箱大战”用上视觉武器
- 一个很简单小数正负数行转列问题
- 精通python网络爬虫-精通python网络爬虫
- Github page + octopress介绍
- DataGrid 中的特殊应用
- 微软发布Win 10 开始按钮真正回归明年底上市
- a标签href不跳转_[网页编程]-06 HTML5 超链接标签
- 你没有见过的 7 种 for 循环优化,超好用!
- r语言 xmlto html,使用R语言将XML转换为CSV(示例代码)
- STM32----摸石头过河系列(一)
- C++——const加深理解之const在函数后
- usermod 修改用户信息
- 最常用的五种数据分析方法,建议收藏!
- 经常使用Code 39条形码,你了解它吗? 今天就来看看什么是Code 39
- 如何批量识别二维码图片信息?
- 计算机组装后要干什么,电脑组装完后还有哪些事需要干?
- Intent跳转页面大全
- ASP利用IP138获IP地理位置
- Windows下实用工具汇总(更新……)
- Oracle数据库练习题(1)