MIT、哈佛合作，这个研究让神经网络认清自己“几斤几两”！
作者：上海小胖
【新智元导读】在MIT和哈佛大学合作的项目中，研究员们探索了神经网络的可信度问题，他们开发了一种可以处理数据的神经网络，不仅可以输出预测结果，还可以根据可用数据的质量，给出模型的可信赖水平。
神经网络被用的越来越多了。
无论是医疗诊断还是自动驾驶，在许多关乎人类安全与健康的重要领域，神经网络逐渐开始发挥作用。
但是这些神经网络，可信吗？
我们都知道，神经网络善于从大型、复杂的数据中识别模式，以帮助人类决策，但是它进行识别的过程却是一个黑箱。
一些AI研究者就试图揭开这一秘密，找出神经网络可信度的答案。
在一个麻省理工（MIT）和哈佛大学合作的项目中，亚历山大·阿米尼（Alexander Amini）和他的同事们就在探索这一问题，他们开发了一种可以处理数据的神经网络，不仅可以输出预测结果，还可以根据可用数据的质量，给出模型的可信赖水平。
简单来说，就是让神经网络自己对自己的结果可信度打个分，颠颠自己“几斤几两”！
打个比方，在自动驾驶中，模型通过对各种传感器的数据进行分析，这就是“交叉路口一切正常”和“可能安全，要以防万一”的区别。
目前的神经网络不确定性评估往往成本昂贵，并且要耗费相当长的时间，但是阿米尼提出的“深度证据回归”（deep evidential regression），可以加速这一过程，并且得到更可靠的结果。
麻省理工学院计算机科学与人工智能实验室（CSAIL）DanielaRus教授团队的博士生Amini说：“我们不仅需要拥有高性能的模型，还需要理解什么时候我们不能信任这些模型。”
“这个想法很重要，适用范围很广。它可以用来评估依赖于学习模型的产品。通过对学习模型的不确定性进行估计，我们还可以了解该模型可能带来的误差，以及哪些缺失的数据可以改进该模型。”Rus说。
阿米尼将在 NeurIPS 会议上展示这项研究，Rus将与他一起赴会。
有效的不确定性
在经历了一段起伏不定的历史之后，深度学习已经在各种任务中展现出了卓越的表现，在某些情况下甚至超过了人类的准确性。
现在，深度学习似乎无处不在。它为搜索引擎结果、社交媒体订阅和人脸识别提供了技术基础。“我们已经通过深度学习取得了巨大的成功，”阿米尼说。“神经网络在 99% 的时间里都很擅长知道正确的答案。”
但是在生命面前，容不得AI 1%的侥幸。
阿米尼说: “研究人员一直在逃避的一件事，这些模型需要知道并告诉我们它们可能是错误的。”
“我们真正关心的是那1%的时候，以及我们如何能够可靠而有效地发现这些情况。”
神经网络有的规模非常大，有的拥有高达数十亿的参数。因此，仅仅为了得到一个答案，这可能是一个繁重的计算工作，更不用说置信度了。
神经网络中的不确定性分析并不新鲜。但是之前基于贝叶斯深度学习的方法，是多次依赖于运行，或抽样一个神经网络来理解它的可信度。这个过程需要大量的时间和内存，在像智能交通这样的场景中就不实用了。
研究人员设计了一个只从单个运行的神经网络来估计不确定性的方法。他们设计的网络具有多个输出，不仅可以输出一个预测，而且会产生一个新的概率分布，捕获支持该预测的可信度。
这些分布称为证据分布，直接捕获模型的可信度。这包括基础输入数据中存在的任何不确定性，以及对模型的最终决策的影响。这种区别可以表明是否可以通过调整神经网络本身来减少不确定性，或者输入的数据是否只是噪声。
检查可信度
为了测试他们的方法，研究人员决定从一项具有挑战性的计算机视觉任务开始。
他们训练自己的神经网络来分析单目彩色图像，并估计每个像素的深度值（即距离相机镜头的距离）。无人车辆可能会使用该计算方法来估计它与行人或其他车辆的距离，这并不是一个简单的任务。
他们的神经网络性能与先前最先进的模型不相上下，并且它还拥有估计自身不确定性的能力。正如研究人员所预料的那样，这个神经网络在预测错了的地方输出了高度的不确定性。
阿米尼说: “它是根据网络产生的误差进行校准的，我们认为这是衡量可信度预测器质量的最重要的事情之一。”
为了对他们的校准进行压力测试，研究小组还表明，网络对“分布不均”的数据预测了更高的不确定性——这是训练期间从未遇到过的全新类型的图像。在他们对网络进行了室内家庭场景的训练之后，他们给网络输入了一批室外驾驶场景。
该神经网络一直发出警告，表示它对未曾识别过的户外场景的反应是不确定的。该测试突出了网络在用户不应完全信任其决策时进行报警的能力。
在这种情况下，“如果这是一个医疗保健应用程序，也许我们不相信模型提供的诊断，而是寻求其他意见。”阿米尼说。
该网络甚至知道照片何时被篡改，从而有可能防范数据操纵攻击。
在另一个试验中，研究人员在一批图像中提高了对抗性的噪音水平，并将这些图像发送到网络中。这种改动是微妙的，几乎不为人类所察觉，但神经网络发现了这些图像，并用高度不确定性标记了输出结果。这种对伪造数据发出警报的能力可以帮助侦测和阻止敌对性攻击，这在深度造假时代是一个日益令人担忧的问题。
“深度证据回归”是“一种简单而优雅的方法，它推进了不确定性估计领域，这对于机器人和其他现实世界的控制系统非常重要，”
DeepMind 的人工智能研究员 Raia Hadsell 评论说。“这种方法以一种新颖的方式完成，避免了其它方法的一些混乱方面，例如采样或集合，这不仅使它优雅，而且计算效率更高，是一种成功的组合。”
“深度证据回归”可以提高人工智能辅助决策的安全性。阿米尼说: “我们开始看到越来越多的神经网络模型从实验室慢慢流出，进入现实世界，进入可能危及人类生命的环境。”
“任何使用这种方法的人，无论是医生还是坐在车辆乘客座位上的人，都需要意识到与这一决定相关的任何风险或不确定性。”他设想这个系统不仅可以快速识别不确定性，而且可以用来在危险的情况下做出更加保守的决策，比如一辆无人汽车经过一个十字路口的时候。
“任何有部署机器学习的领域最终都需要有可靠的可信度指标。”他说。
MIT、哈佛合作，这个研究让神经网络认清自己“几斤几两”！相关推荐
- 计算机专业校企合作的论文,高校计算机专业校企合作创新研究论文
高校计算机专业校企合作创新研究论文 摘要:目前我国对高校计算机专业人才的培养模式依旧存在些许问题.针对这些所存在的问题,我国实施了在高校计算机专业人才培养的过程中,实施校企合作的人才培养模式,从而改变 ...
- 基于博弈论的大学生社群合作行为研究申报书（C写一个博弈软件）
三科基金学生科研课题 立 项 申 报 书 课题名称:基于博弈论的大学生社群合作行为研究 学科分类:自然科学类 承担单位:温州大学网络工程本 负 责 人:Steve Jiang 需要整个C实现的博弈软件 ...
- 谷歌新研究对神经网络数据并行性提出质疑
https://www.toutiao.com/a6670724671169626636/ 在训练神经网络时,并行计算和模型并行是很常用的方法,以最大限度地利用有限的算力.然而,谷歌的一项新研究表明, ...
- ICCV 2019 | 通过多标签相关性研究提升神经网络视频分类能力
作者丨王磊 单位丨汽车之家视频理解工程师 研究方向丨深度学习.计算机视觉 本文介绍了汽车之家团队 ICCV 2019 一篇关于视频理解论文相关的工作.针对视频多标签分类的问题,论文提出了将视频多标签之 ...
- 【深度学习】Hinton 最新研究：神经网络的未来是前向-前向算法
来源:AI科技评论 作者:李梅.黄楠 编辑:陈彩娴 在未来万亿参数网络只消耗几瓦特的新型硬件上,FF 是最优算法. 过去十年,深度学习取得了惊人的胜利,用大量参数和数据做随机梯度下降的方法已经被证明是 ...
- Hinton 最新研究：神经网络的未来是前向-前向算法
来源:AI科技评论 作者:李梅.黄楠 编辑:陈彩娴 在未来万亿参数网络只消耗几瓦特的新型硬件上,FF 是最优算法. 过去十年,深度学习取得了惊人的胜利,用大量参数和数据做随机梯度下降的方法已经被证明是 ...
- MIT麻省理工最新研究揭示GAN生成数据可视化分析
背景 生成对抗网络(GAN)对于合成真实图像非常有用,但我们不禁要问:你怎么知道GAN不能生成什么模式丢失或模式崩溃被认为是GAN面临的最大挑战之一,GAN忽略了目标分布的某些部分,但是对于GAN中的 ...
- 华为、中大、谷歌合作最新研究黑白漫画场景可批量上色
给定一个场景草图,我们的系统将按照用户指定的基于语言的指令为前景对象实例和背景逐渐着色,从而自动生成彩色卡通图像. 作者信息 介绍 基于自然的,非接触式有趣的,基于语言的输入已被证明有效地完成了从图像 ...
- 计算机神经网络的研究内容,神经网络主要的研究内容是什么，有什么特点？
人工神经网络既是一种基本的人工智能研究途径,也是一种非常重要的机器学习方法. 有些学者把人工智能狭义地理解为物理符号系统,而把人工神经网络与人工智能并列起来. 人工神经网络也与模拟信号处理及模拟电子计 ...
最新文章
- python不能调用matplotlib_快速解决PyCharm无法引用matplotlib的问题
- python基础-2
- wxpython界面切换_Python图形界面开发—wxPython库的布局管理及页面切换
- XYZ DOWN-电子书
- 联想x100e linux,进化之道!ThinkPad X100e全球首发测试
- 首个谷歌TensorFlow安全风险被腾讯找到：攻击成本低、迷惑性强
- 设计模式系列之九：职责链模式
- 免费使用正版 IDEA
- 软考初级程序员---题目（三）
- word文档 文献尾注修改样式
- 计算机开机总要按f1键,为什么开机要按f1键？win7每次开机按f1才能进入系统怎么办...
- Unity 打包IOS平台错误
- ThinkPad T400重装win7系统
- 过会10个月，保荐机构主动要求撤销上市保荐，IPO终止
- Qt渲染视频常见问题（视频渲染窗口上子窗口设置透明出现阴影问题、主窗口缩放导致视频渲染窗口部分出现视频闪烁问题）
- 如何利用ArcGIS探究环境与生态因子对水体、土壤、大气污染物等？
- java计算机毕业设计恒美服饰原材料采购预约配送系统MyBatis+系统+LW文档+源码+调试部署
- java输出生日_运用Java语言输出你的出生日期（小新）
- “一票易得” 微微网络电话五一抢票进行时
- 【转】Win7注册表的使用（更新中）