斯图尔特·罗素(Stuart Russell),加州大学伯克利分校计算机科学专业教授,著有人工智能领域“标准教科书”——《人工智能:一种现代化方法》(与谷歌研究主管Peter Norvig合著)

来源:智能探索

随着人工智能的发展速度越来越快,Russell对这一领域的担忧不断加剧。他表示,人工智能有了很大跨越,很大程度上是因为神经网络学习算法有了质的飞跃。相关技术已经应用在Facebook的人脸识别软件,智能手机的私人助手应用,以及谷歌的自动驾驶汽车上面了。还有一个现实中的例子,根据《自然》杂志上最近刊登的一项研究成果,一个人工神经模拟网络学习玩雅达利公司的视频游戏,结果玩得竟然比人类还要好,这也引起了业界震动。“如果这发生在一个刚出生的孩子身上,你会认为,这是与生俱来的。”Russell说道。

2015年,在美国物理学会年会上,Russell接受了Quanta Magazine的采访,并谈论了智能本质和人工智能安全的巨大挑战。

您认为,人工智能的目标就是要能证明它能符合人类价值观,这意味着什么?

这么说真有点气人,这里把两件事情放在在了一起,一个是要“能证明”,另一个是“人类价值观”,它们貌似就是非常矛盾的。人类价值观本身就多少存在一些神秘,从某种程度上,我们的价值观会在行为上有所表现,你可能希望证明机器也能做出绝大多数类似的行为吧。或许,机器会有一些零碎的东西无法理解,而实际上,就连人类自己有时都不太认可彼此。不过,只要机器能够获得基本权利,你可能就会发现它们其实并不是非常有害的。你会如何着手实现这些?这个问题其实就是我现在的工作:机器需要在什么地方拥有一些近似于价值观的东西呢?重要的是,这些价值观必须是人类希望他们拥有的。我认为答案就是一种名叫“逆向强化学习”的技术。普通的强化学习是一种过程,你会根据自己的表现得到一定的奖励和惩罚,你的目标就是要识别出一些能让你获得最多奖励的行为。这就是雅达利游戏公司DQN系统正在做的事情:它给每个游戏分数,而这套系统的目标,就是要让分数变得越来越大。逆向强化学习恰恰与之相反,你会发现一些行为,然后你需要尝试搞清楚这种行为尝试最大化的那个分数是多少。举个例子,你的家用机器人看到你早上从床上爬起来,然后把一些褐色的玩意儿放进一台噪音很大的机器里磨碎,然后再把一些蒸汽、热水、牛奶和这个液体混合在一起,一饮而尽之后,精神就会变得非常好。此时,逆向强化学习技术就需要学习,这其实就是人类在清晨价值功能的一部分,因为他们需要喝咖啡。关于人类行为和行为态度,在书本、电影、互联网之外,其实存在着大量信息。因此,当涉及到人类价值时,机器需要学习的资源是非常庞大的,比如谁赢了比赛金牌,谁去坐牢,以及为什么会这样。

您是怎么进入人工智能这一领域的?

当我还在读书的时候,总体来说,人工智能还不是一种正式的学术科目。但是当时我所在的是伦敦的一家公立寄宿学校,位于圣保罗,所以我的时间没有花在打英式橄榄球上,相反,在附近的一所高校里,我学习了计算机科学A-level课程。我当时为A-level课程准备了一个项目,就是编了一个程序教自己下井字棋,或是一字棋。当时我在那里并不受到人们欢迎,因为我总是一连几个小时霸占着学校里的计算机。第二年,我写了一个国际象棋程序,同时也获得了帝国理工大学教授的许可,可以使用他们学校里的大型计算机。搞清楚计算机如何学习下棋真的太有意思了,我学到了很多今后会在书本上学到的东西。不过怎么说呢,当时我还只是把这个当作是一个爱好;因为当时我最感兴趣的学科专业是物理。我在牛津大学学习了物理学,之后当我申请读研究生的时候,也是申请了在牛津和剑桥继续攻读理论物理专业。后来我又申请了麻省理工学院,卡耐基-梅隆大学和斯坦福大学三所高校的计算机科学专业,但不幸的是,当时我错过了申请截止日期,好在斯坦福大学网开一面,于是我来到了斯坦福大学。

在您整个职业生涯里,花了大量时间尝试理解人工智能是什么,这也是搞清楚机器会如何实现人工智能的先决条件。从中您学到了些什么?

在上世纪80年代,我进行了理论研究,当时我开始思考制定理性决策,但问题是,这个问题是不可能解决的。如果你非常理性,你可能会想:这是我目前的状态,这是我现在能做的行为,之后我可以做那些行为,接着是那些行为,再接着又是那些行为。哪条路径能确保实现我的目标呢?理性行为的定义,要求你去优化整个宇宙的未来,这靠计算是根本不可能实现的。在人工智能中,也有些事情是不可能实现的,因此我们去定义那些我们正在尝试所做的事情,其实根本没有什么意义,所以,我决定尝试搞明白:我们究竟是如何做决策的?那么,我们是怎么做的呢?这里有一个技巧,你可以去思考一个短期预测,然后再去猜测未来会是什么样子。因此,举个例子,在国际象棋程序里,如果他们非常理性,那么他们就只会走那些能确保将死对方的棋,但实际上,他们并不会这么做。他们会算一下未来要走的几步棋,然后再猜测一下,如果这么走,对于当前自己的棋局是否有帮助,最后,他们会选择走一步对自己当前棋局最为有利的一步棋。“你能证明你的系统,无论他们有多么智能,都不会重写系统内部最初由人类设置的那个目标吗?”实际上,真正需要重点考虑的另一件事情,就是在多个抽象级别里的决策问题,也就是所谓的“分层决策”。在一个人一生之中,大约要做20万亿个物理动作。举个例子,在本届大会上做一次演讲,需要作出大约13亿个物理动作。如果你是理性的,那么就会预先想好会怎么做这13亿个物理动作,显然,这非常荒谬,同样也是不可能实现的。因此,如果人们想要能够进行目标管理,就需要非常丰富的高层次抽象行为库。你走路的时候会去想,“首先我要么移动我的左脚,要么移动我的右脚,之后我要么移动…”会这样想吗?显然不会。那么你会想些什么呢?你会想“我得赶紧去艾派迪旅游公司,然后订一个航班。当我落地之后,我要打个的。”这才是人类会想的东西。在我的飞机实际落地之前,我是不会去想任何东西的,也不会去找出租车标记,或是叫车,但是当我落地之后,我会需要更多细节。基本上,这才是我们真正的生活,未来是铺开的,很多细节能够及时的靠近我们,但是很多大块、或是人生的大方向却是非常抽象的,比如“我要考博士”,“我要生孩子”等等。

目前的计算机能做分层决策吗?

这正是目前人工智能所缺失的那一部分,所有这些高级别行为都来自什么地方?我们不认为像DQN网络这样的程序可以识别行为的抽象表达。有一些游戏,DQN还不知道怎么玩儿,那些难度较高的游戏需要在原始行为表现的基础上,向前思考很多很多步,举个例子,如果一个人想,“哦!我现在需要做的,是去开门。”,而开门则需要涉及到拿钥匙,等等。如果机器没有“开门”这个行为表现,那么在这个任务上就不会有任何进展。但是,如果问题被解决(当然这几乎是不可能的),那么我们就会看到机器能力将得到极大的提升。我个人其实也不太确定,在人类级别的人工智能和计算机分层决策问题之间的主要障碍是什么。

对于人类级别人工智能的可能性,您关注的是什么?

1994年,在我首版书中有一个章节,题目叫做“如果我们成功了会怎样?”因为在我看来,对于人工智能似乎大家还没有真正思考过这个问题。或许可能因为这距离我们非常遥远,但很显然,如果人工智能获得成功,那无疑将会是一件大事,甚至会是人类历史上最重大的事件,我们需要用一种较好的方式去描述它。如果这事儿真的成了,那么我们就需要做非常多的思考,至少,要比我们现在正在思考未来会是什么样多得多。

智能爆炸的基本概念,就是一旦机器获得了一定级别的智能水平,他们就能在人工智能上工作,就像我们做的那样,同时还会提升他们自己的能力,重新设计他们自己的硬件,等等。同时,他们的智能将会破纪录般地被放大。在过去的几年里,人工智能圈子已经逐渐开始重新定义人类级别人工智能参数(这可能会是个问题),其中最令人信服的参数必须是要和价值参数有关:你构建了而一个系统,在优化效用函数上表现的非常好,但是效用函数并不是非常正确的。牛津大学哲学家Nick Bostrom写了一本书,叫做《超级智能》,他用回纹针作为例子,你说,“做些回纹针”。它就将整个星球变成一个巨大的回纹针堆积场。你构建了一个超级优化程序;你会给它什么样的效用函数呢?因为这个程序就要打算这么干了!

您如何看待机器和人类价值观的差异呢?

那是个内在问题。你可以说,当有某个领域出现了价值观冲突的时候,机器应该宁可什么都不做。但这是很难实现的。我认为,我们不得不在某些价值功能的基础上构建人工智能。如果你想要一个家庭机器人,它就必须要很好地分享人类价值观的不同部分,否则它很可能会做一些非常愚蠢的事情,比如当孩子肚子饿了,并且冰箱里没有食物了,它可能就会把猫放进烤箱里做晚饭。现实生活中充满了类似的权衡,如果机器可以有一些折中的方式,那么它们在生活中就不会做出那些愚蠢的事情。

从某种意义上来说,在价值观领域里,我没有看到任何的解决方案。我同时还觉得,如果人工智能可以判断正确的人类价值观,那么可能会带来巨大的经济利益。举个例子,一旦家庭机器人做出一两次愚蠢的事情,如同前文讲的把猫放进烤箱,那么人们肯定再也不会买这种类型的机器人了。

但同时还有一个问题,如果智能系统自我表现行为符合人类价值观,那么人类就会过渡到越来越多的智能系统上面,这是否意味着人类自己的价值观要变得越来越好?还是继续表现自我?我不知道答案。

您曾经说过,我们需要通过数学验证人工智能在所有可能的环境下表现出的行为,这该怎么做呢?

人们指出的困难之一,就是一个智能系统可以武断地制造出一个全新的“自我”,而这个新智能系统的目标和原来的老智能系统也是不同的。这种场景,相比很多科幻小说作家会经常提及,在某种程度上,机器会自发地达到战胜人类的目标。所以问题来了:你能证明你的系统无论它多么智能,都永远永远不会重写自己最初由人类设置的目标吗?

证明这点还是相当容易的,正如前文所提到的DQN系统,它可以永远不去改变自己“优化游戏分数”的目标。现在,有一次网络攻击,就是人们谈论被称为“wire-heading”的网络攻击,它让你可以实际进入到雅达利游戏的控制台,手工改变屏幕上生成的分数。此时对DQN是不可行的,因为它的行为范围是完全在游戏本身之中的;它没有机器人手臂去干这种事儿。不过,如果机器在现实世界中有了行动能力,那就会带来严重的问题。因此,你能够证明你设计的系统在自身行为范围之内,永远不会改变自身机制吗?这更难证明了。

如果朝着人工智能这个方向有什么进展的话,您觉得会很有希望吗?

目前有一个新兴的行业领域,叫做“网络-实体系统”,这个系统可以将虚拟环境与真实世界进行匹配。在网络-实体系统中,你可以用一些二进制数字来代表一个空中交通管制程序,然后你可以获得一些真实的飞机,而你真正关心的是,不要发生飞机碰撞。你要试图去证明一个关于虚拟和真实世界整合的定理,此时你会怎么做呢?你会对真实世界进行非常保守的数学描述,比如飞机在这样或那样的环境下可以加速,等等,你的定理在真实世界中会是正确的,只要真实世界能够包含在你的整体行为环境之中。

但是,您已经指出,数学方法可能无法作为人工智能系统的正式验证方法?

在数学专业里有个术语,叫做“不可判定性”。在你所问到关于计算机程序的很多问题之中,其实都存在这样一个普遍的“不可判定性”问题。著名的计算机科学之父,也是人工智能之父阿兰·图灵说过,没有计算机程序能够决定是否存在任何其他可能的程序可以最终终止,并输出一个答案,或是陷入到一个无限循环之中。因此,如果你开始了一个程序,但是它自身可以重写,变成另外一个其他程序,那么就会产生问题,因为你不能证明所有其他可能的程序会让一些“所有权”满意。所以问题就是:是否有必要担心那些能够自我重写的人工智能系统的不可判定性?它们会基于现有程序,加上它们在真实世界中的经验,自我重写成一个新的程序。在下一个程序如何设计的问题上,与真实世界交互的影响范围可能性又是什么?目前,我们貌似还没有太多这方面的知识。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

Stuart Russell:智能本质和人工智能安全的巨大挑战相关推荐

  1. 关于AGI与ChatGPT,Stuart Russell与朱松纯这么看

    机器之心 机器之心专栏 机器之心编辑部 2023 年 2 月 13 日 AAAI SafeAI 研讨会上,加州大学伯克利分校教授 Stuart Russell 和北京通用人工智能研究院(BIGAI)朱 ...

  2. UC伯克利教授Stuart Russell人工智能基础概念与34个误区

    来源:数据简化DataSimp 数据简化DataSimp导读:UC伯克利教授StuartRussell人工智能基础概念与34个误区,Russell是加州大学伯克利分校人工智能系统中心创始人兼计算机科学 ...

  3. UC伯克利教授Stuart Russell人工智能基础概念与34个误区 (公号回复“AI基础概念”可下载PDF资料)

    UC伯克利教授Stuart Russell人工智能基础概念与34个误区 (公号回复"AI基础概念"可下载PDF资料) 秦陇纪 数据简化DataSimp 今天 数据简化DataSim ...

  4. Stuart Russell:有益AI三原则,需满足人类偏好

    ‍‍ [专栏:人物观点]重要的进展,往往会隐藏在"细微"的观点当中. 作者:李梦佳 AI已经足够聪明,但似乎对人类的偏好还不甚了解. 去年的一次演讲中,Stuart Russell ...

  5. Stuart Russell对话姚期智:为全人类设计AI系统,可以借鉴墨子「兼爱」思想丨2023智源大会AI安全与对齐论坛...

    导读 在2023智源大会「AI安全与对齐论坛」的对话环节,加州大学伯克利分校教授Stuart Russell与图灵奖得主.中国科学院院士姚期智针对「如何设计对人类有益的AI」.「如何管控AI技术」,以 ...

  6. 拥有超级智能后,人工智能会变成神一般的偏执狂吗?

    全文共3651字,预计学习时长11分钟 图源:Unsplash 以人工智能.自动化等为代表的技术能让你的生活更加智能与神奇.国内首个人工智能公园(百度联合)--海淀公园.你在里面跑路,人工智能帮你测量 ...

  7. 向大脑学习智能本质,探索通用 AI 的另一条可行路径

    ‍‍ ‍‍ [观点速递]"大数据"."大算力"和"大模型",是近些年人工智能领域的热点词汇.在本届智源大会上发布的超大规模人工智能模型-&q ...

  8. 第十五届全国大学生智能汽车竞赛 人工智能创意组总决赛

    第十五届全国大学生智能汽车竞赛 人工智能创意组总决赛 一.赛题背景 近年来,随着人工智能特别是深度学习的发展,如何通过自学习实现避障已成为一大研究热点.实现自主学习是机器人实现智能化的重要一步,有利于 ...

  9. 第十五届全国大学生智能汽车竞赛人工智能创意赛

    竞赛背景 全国大学生智能汽车竞赛是以智能汽车为研究对象的创意性科技竞赛,是面向全国大学生的一种具有探索性工程的实践活动,是教育部倡导的大学生科技竞赛之一.竞赛以"立足培养,重在参与,鼓励探索 ...

最新文章

  1. AI一分钟 | 马斯克:我不是中本聪,我自己的比特币都丢了;商汤科技再获阿里巴巴15亿元投资,内部消息称C轮还有更大巨头入股
  2. oracle求某个数的阶乘,Oracle SQL实现阶乘的几个方法
  3. 2021年春季学期-信号与系统-第四次作业参考答案-MATLAB实验1
  4. 分享Kali Linux 2016.2第49周镜像文件
  5. Linux系统分区知识
  6. Laravel 文件夹结构简介
  7. javascript生成指定范围的随机整数
  8. python生词本的生词_【Anki小工具】有道生词本转Anki 1.0
  9. mfc链表中的数据如何排序输出_java程序员面试中最容易被问到的18个算法题(附答案!)...
  10. springMVC操作mongoDB增删改查
  11. 京东月薪8万招聘HR,岗位要求只有这3个字
  12. python-两种方法实现:从字符串中找出 出现次数最多的 字母和 对应出现的个数
  13. 在进行Forms身份验证时如何将此信息映射到GenericPrincipal 和 FormsIdentity 对象?
  14. 教之初考试系统登录选择服务器,教之初考试系统
  15. Uc页面加载完毕后页面字体变大
  16. 网站搭建之PHP安装教程
  17. 改写二分搜索算法C++
  18. oracle数据表空间与数据文件,oracle的表空间及数据文件
  19. 点集配准技术(ICP、RPM、KC、CPD)
  20. Epub格式怎么转换成PDF格式?这个方法轻松解决

热门文章

  1. Jeff Dean:我们写了一份「稀疏模型设计指南」,请查收
  2. 报名 | 刘鹰教授:草根创新力:中国经济快速发展的秘诀
  3. 数据蒋堂 | 怎样生成有关联的测试数据
  4. 独家 | 一文读懂Corda分布式记账技术
  5. 32岁封神!苏炳添博士重磅论文:我怎么跑这么快?
  6. 重磅!Science 上海交大发布最新“全世界最前沿的125个科学问题”!
  7. 「重返18岁」!英特尔首任CTO重磅回归,以CEO身份重掌帅印
  8. 一次性给予硕士35万,博士50万房补,浙江这个市出台硬核政策引才!
  9. 最高70万!深圳大学高薪招150名教师引关注
  10. 【重磅来袭】斯坦福开源Python版NLP库Stanza:涵盖66种语言!