为了故意刁难AI,科学家们制造了这1200个问题,超强AI被“打回原形”
鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI
自从 IBM 的 Watson 在 “Jeopardy!” 智力问答竞赛中战胜人类冠军,人工智能真正理解人类语言这件事似乎变得触手可及。
但只要和Siri多聊几次天,你就会明白计算机还是会表现出“人工智障”的一面。
想要更好地理解人类语言,计算机系统必须接受更高难度的训练挑战。
于是,马里兰大学的研究团队通过人机协作开发出了一个包含1200多个问题的数据集,来与计算机对抗。
Trick me if you can
马里兰大学副教授Jordan Boyd-Graber的团队提出了一个新的概念,human-in-loop对抗生成。
虽然 Watson 的战绩曾经惊倒众人,让人觉得AI几乎可以理解语言的含义,但过去三四年来,研究者们已经意识到计算机问答系统其实非常脆弱。
在智力问答中,许多问题稍作改动,人类高手仍能轻松作答,而AI则会被彻底愚弄。
举个例子,对于“哪一位作曲家的海顿主题变奏曲是受到了卡尔·费迪南德·波尔的启发?”这个问题,博学的AI能够轻松给出正确答案:约翰内斯·勃拉姆斯。
但是如果不提卡尔·费迪南德·波尔,而只是描述他的职业——维也纳金色大厅的档案管理员,那么AI就会傻眼。
所以,研究人员们都在努力创造更高难度的问题,即对抗样本,来迫使AI用人类的方式思考问题。
通常的做法是人类自己写问题,或者是让计算机自己生成问题。但问题非常明显:人在写问题的时候,并不确定问题里的哪些要素会混淆计算机。而AI生成器生成的问题,则容易陷入公式化,有时还会产生空白的,错误的,没有意义的问题。
那么,能不能让机器来帮助人类写出足以混淆计算机模型的问题呢?
团队于是搞出了一个交互式用户界面。
在这个界面中,人在输入问题的同时,计算机会把它的猜测按顺序显示在屏幕上,而那些计算机用来参考以生成回答的单词也会被高亮标注出来。
还用刚才那个例子来说明,AI在得出约翰内斯·勃拉姆斯这个答案的同时,会把卡尔·费迪南德·波尔在屏幕上标记出来,说明它是根据这个名字推断出了答案。
如此一来,输入问题的人只要在不改变问题原义的基础上,把卡尔·费迪南德·波尔这个词替换掉,就能生成一个成功的对抗性问题。
也就是说,人机协作就是human-in-loop对抗生成的核心。
Jordan Boyd-Graber教授是这样介绍他们的工作的:
大多数的问答计算机系统都没有解释他们是怎样做出回答的,而我们的工作能帮我们看清计算机实际理解的内容。
团队将这个框架应用在了一个叫Quizbowl的问答任务中,与Jeopardy不同的是,Quizbowl的问答模式是这样的:问题被同时读给两个竞争团队,谁先猜到答案就打断问题并回答。
益智问答爱好者和计算机携手,创造了1213个对抗性问题。
他们将这些问题整合成了开源数据集Qanta Adversarial ,这个数据集涉及到了不同主题的6541个句子。
这样的数据集将揭示计算机语言系统是否真的能像人类那样阅读理解。
实验测试
为了测试新的QA系统的效果,研究团队用上了三个模型:IR模型,循环神经网络(RNN)以及深度平均网络(DAN)。
第一轮攻击
第一轮对抗性问题是针对IR模型生成的。RNN和DAN同样接受了测试。
问题难度升级之后,三种模型都备受打击,DAN的准确率就从54.1%下降到了32.4%。
第二轮攻击
第二轮攻击中,作者又攻击了一个RNN模型。参与第二轮测试的所有模型都在更大的数据集上进行了训练。
从这个结果来看,针对IR系统的问题降低了所有模型的性能。不过,IR模型对于针对RNN的问题是鲁棒的。
人机竞赛
最后的重头戏,是人机大战。
现场,有两只人类队伍来与计算机PK。人类这边,是国家级Quizbowl玩家;而计算机这边,是最先进的Quizbowl系统Studio Ousis模型。
在2017年的NIPS共享任务当中,Studio Ousis曾经以475:200的比分战胜了人类高手。
第一场比赛,使用了IR对抗性问题。形势完全逆转,人类以 300:30的比分获胜了。
第二场比赛规模进一步扩大,有七支人类团队参与其中,而比赛中的400多个问题是针对RNN模型生成的对抗性问题。
这次,人类队伍这边有高中Quizbowl选手,也有Jeopardy!冠军队伍。
然而,连最弱的人类团队也击败了最强级别的AI。
1200问直击弱点,AI果然还有很长的路要走啊。
传送门
QANTA项目:
https://sites.google.com/view/qanta/projects/adversarial
论文地址:
https://arxiv.org/abs/1809.02701
GitHub地址:
https://github.com/Eric-Wallace/trickme-interface/
— 完 —
加入社群 | 与优秀的人交流
小程序 | 全类别AI学习教程
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「好看」吧 !
为了故意刁难AI,科学家们制造了这1200个问题,超强AI被“打回原形”相关推荐
- 年收入百万美元AI科学家的烦恼与思考
AI 研究科学家 Alexis Conneau 只需敲击了几下键盘,包含数千亿字的信息洪流,就能在他的电脑屏幕窗口中滚动起来. 多年来,自动化 "爬虫" 用 100 种语言将互联网 ...
- AI一分钟 | 阿里云放大招要揽1000名AI人才,川普AI守国论遭遇54名科学家反对
一分钟AI 阿里云广东人才召集令发布,打造全国工业云总部 亚马逊云(AWS)面部识别系统升级,延迟在一秒以内 谷歌TensorFlow 1.4发布,增加了对Python生成器的支持 三星抢滩AI战场, ...
- 李开复:发明期已过,AI科学家创业需谨慎(附演讲视频)
2012年至今,在深度学习推动下,这一波人工智能的蓬勃发展已有近十个年头. 在初期,一系列由AI科学家创建的初创公司,经过大浪淘沙,如今已有多家脱颖而出成为独角兽企业:榜样在先,于是有不少 AI 领域 ...
- (附视频) | AI奠基人、美国AI科学家特伦斯谈深度学习
来源:笑看国际风云 特伦斯 · 谢诺夫斯基(Terrence Sejnowski):世界十大人工智能科学家之一,还是美国仅3位在世的'四院院士'之一,同时兼任全球人工智能顶级会议NIPS基金会主席.1 ...
- 独家 | 以国家战略科学家身份,顶级AI学者朱松纯回国,筹建北京通用AI研究院...
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 转载自:机器之心 今日,知乎热帖称顶级 AI 华人学者.UCLA 教授朱松纯拟加入清华自动化系,职务为 ...
- AI科学家王怀清:机器视觉识别领域 或将出现AI独角兽
https://www.toutiao.com/a6651381754940621323/ 2019-01-28 11:18:15 1956年 ,"人工智能"概念正式诞生.经过半个 ...
- 字节跳动AI科学家王崇学生时代论文获“时间检验研究奖”
在"久经时间考验"的AI科研成果评选中,华人科学家再次成为赢家. 8月17日举行的国际数据挖掘与知识发现大会KDD2021上,字节跳动AI科学家王崇以学生时代的一篇论文获得&quo ...
- AI Frontiers | 微软首席 AI 科学家邓力演讲:口语对话系统的分类及三代演变
AI Frontiers | 微软首席 AI 科学家邓力演讲:口语对话系统的分类及三代演变 编者按:邓力博士原为加拿大滑铁卢大学教授,1999 年加入微软,2016 年起担任微软首席人工智能科学 ...
- 那些离开工业界,回归学术界的AI科学家们!
整理 | 苏宓 转自 | CSDN(ID:CSDNnews),机器学习实验室 「离开大厂,回归学术界」在近两年似乎已经成为了一种趋势,尤其是对于 AI 产业界而言,更是如此. 产业界,留给" ...
最新文章
- 数据库学习之(6)了解数据库触发器
- 如何在Web服务器IIS 6上配置PHP平台
- DL之DNN:利用DNN【784→50→100→10】算法对MNIST手写数字图片识别数据集进行预测、模型优化
- 【ABAP】ALV可编辑数据更新
- 在ubuntu怎样修改默认的编码格式
- 【操作系统】进程调度的不同层次
- C++字符串的不同存放类型 (string/char[])
- 计算机专业三年教学实施计划及总结,教师个人三年专业成长目标和措施
- 深度技术 GHOSTXPSP3 快速装机 2013圣诞节专版
- s7-200与计算机modbus通讯案例,S7-200实现Modbus通信范例(绝对精华)
- 24点自动出题,可打印,A4排版
- 正逻辑与负逻辑的关系
- java项目——CRM客户管理系统(SpringBoot+MyBatis)
- onenote怎么同步到电脑_如何同步手机和电脑 onenote
- 浅析集线器、交换机、路由器
- 详谈如何实现手机浏览器跳转微信指定页面加好友及跳转微信公众号一键关注
- Monkey测试黑白名单
- 大淘客cms php版本,大淘客cms频繁出现 500错误页面临时解决方法
- 软件测试登陆注册经典测试用例
- 别人群里发优惠券是怎么来的_教你自己发优惠券?
热门文章
- lvs集群基础及lvs-nat、dr、fwm实践
- 地牢逃脱(BFS(广度优先搜索))
- 201521123009 《Java程序设计》第10周学习总结
- Jsp+Servlet+JavaBean经典MVC模式理解
- 记录这两日悲哀的血泪史,以便后来人能绕行
- 广告域名审核之后跳转技术:点击域名A页面iframe框架下的链接,域名A跳转到域名B...
- 小块头大性能才能得到用户的青睐
- 淘宝的人工封IP技术真好玩
- 搜索引擎提交工具_钦州SEO优化_SEO工具常用的有哪些大盘点,做SEO优化不再累...
- 网络欺骗工具Ettercap大学霸IT达人