dnn神经网络_Facebook AI新研究:可解释神经元或许会阻碍DNN的学习
人工智能模型到底「理解」了什么内容,又是如何「理解」的呢?
回答这个问题对于改进人工智能系统来说至关重要。而不幸的是,计算机科学家解释深层神经网络(DNN)的能力远远落后于我们用它们实现有用结果的能力。
一种常见的理解DNN的方法集中在单个神经元的属性上,例如,寻找出一个单独的神经元,这个神经元可以激活猫的图像,但不能激活其他类型的图像。
Facebook研究人员将这种对特定图像类型的偏好称为「类选择性」(class selectivity)。
「类选择性」之所以被广泛使用,一部分原因是因为它是直观的、易于理解的人类术语(也就是说,这些神经元是网络的「猫」部分)。
事实上,这些可解释的神经元,会自然而然地出现在经过各种不同训练的神经网络中。
例如,经过训练可以对许多不同类型的图像进行分类的DNN含有的某些神经元,这些神经元对拉布拉多寻回犬的激励最为强烈,也就是说,神经元是有选择性的。
研究人员发现强有力的证据表明「即使神经元在很大程度上不具有类选择性,DNN 也能很好地发挥作用」。事实上,易于解释的神经元会损害 DNN 功能,甚至使网络更容易受到随机畸变输入的影响。
Facebook 发现可以通过开发一种新技术,直接控制 DNN 的神经元的类选择性。如果这些方法没有经过严格的测试和验证,那么过分依赖于基于直觉的方法来理解DNN可能会产生误导性。为了完全理解人工智能系统,我们必须努力寻找不仅是直观的而且是经验性的方法。
「类选择性」:深度神经网络可解释性的工具
研究人员最近开始研究是否易于解释的神经元对 DNN 功能实际上是重要的,但不同的研究报告的结果有时是相互矛盾的。
为了解决这个问题,我们采用了一种新的方法来操纵类的选择性: 当训练一个网络来分类图像时,我们不仅指示该网络提高其分类图像的能力,我们还增加了一个动机来减少(或增加)其神经元的类选择性。
上图展示了操纵 DNN 中神经元的类选择性会如何影响 DNN 正确分类图像的能力(在 Tiny ImageNet 上训练的 ResNet18)。
每个点代表一个 DNN。点的颜色代表了 DNN 神经元中「类选择性」被使用或禁止的程度。X 轴显示 DNN 神经元之间的平均类选择性,Y 轴显示 DNN 对图像分类的准确程度。
灰点是中性的,既不使用也不禁止类选择性,代表了这种类型 DNN 中自然出现的类别选择性水平,用它作为比较分类准确性的基准。
通过阻止类别选择(蓝点) ,可以提高测试的准确性超过2% 。相比之下,鼓励类选择性(红点)对 DNN 的图像分类能力造成迅速的负面影响。通过放大数据的一个子集,以更好地说明减少和增加类选择性的影响。
通过在损失函数中添加一个类选择性来做到这一点。研究人员用一个参数来控制类选择性对网络的重要性。改变这个参数会改变我们是使用还是阻止易于解释的神经元,以及改变到什么程度。
通过调节参数,可以实现「类选择性」跨越所有网络层。实验结果如下:
1.当降低DNN的类选择性时,我们发现它对性能几乎没有影响,在某些情况下甚至提高了性能。这些结果表明,尽管 DNN 在任务和模型中普遍存在,但类选择性并不是 DNN 功能的一部分,有时甚至会对 DNN 功能产生负面影响。
2.当提高DNN的类选择性时,我们发现对网络性能有显著的负面影响。第二个结果表明,类选择性的存在并不能保证 DNN 正常工作。
走出实验室,生产环境中数据更复杂
与研究环境相比,部署在工业环境中的DNN通常需要处理更为嘈杂和更为扭曲的数据。
例如,一个研究用DNN可以从维基百科上看到非常清晰的猫的图像,而在工业中,DNN 需要处理一个黑暗的、模糊的猫逃跑的图像。
研究人员实验发现,类选择性的降低使DNN对模糊和噪声等自然失真更具有鲁棒性。而有趣的是,类别选择性的降低也使 DNN 更容易受到有针对性的攻击,在这种攻击中,图像被有意操纵以欺骗 DNN。
这个结果出人意料有两个原因: 第一,因为类选择性已经被广泛用于理解 DNN 函数; 第二,因为类选择性在大多数 DNN 中自然存在。
研究结果还表明,在缺乏类选择性的情况下,DNN自然地学习尽可能多的类选择性,而不会对性能产生负面影响。
所有这些工作都是 Facebook 进一步解释人工智能的一部分,包括为机器学习开发人员提供开源解释工具,以及与平台建立伙伴关系。
最终,这项工作将帮助研究人员更好地理解复杂的人工智能系统是如何工作的,并研发出更健壮、可靠和有用的模型。
dnn神经网络_Facebook AI新研究:可解释神经元或许会阻碍DNN的学习相关推荐
- Facebook AI新研究:可解释神经元或许会阻碍DNN的学习
来源:新智元 本文约2000字,建议阅读5分钟 易于解释的神经元可能会阻碍深层神经网络的学习. [ 导读 ]Facebook AI 近期更新博客介绍了一篇新论文,即研究人员通过实验发现「易于解释的神经 ...
- 电脑复制粘贴_手机扫一扫,现实物体隔空复制粘贴进电脑!北大校友的AI新研究,现在变成AR酷炫应用...
本文经AI新媒体量子位(ID:QbitAI)授权转载,转载请联系出处 十三 白交 发自 凹非寺 魔法变现实,酷炫又实用. 还记得两年前,Zach King(男巫)的爆红魔术吗? 不仅从纸直接蹦出一个 ...
- 苏黎世大学 AI 新研究:仅用少量样本生成高质量光声图像
近日,苏黎世联邦理工学院和苏黎世大学的科学家宣布,可以利用机器学习方法来改善光声成像,成果发表在Nature Machine Intelligence上(点击查看论文链接) "光声成像&qu ...
- Meta AI 新研究,统一模态的自监督新里程碑
作者 | 青苹果 来源 | 数据实战派 虽然 AI 领域不断涌现出新的突破和进展,却始终难以逃离单一领域的束缚--一种用于个性化语音合成的新颖方法,却并不能用于识别人脸的表情. 为了解决这个问题,不少 ...
- 手机扫一扫,现实物体隔空「复制粘贴」进电脑!北大校友的AI新研究,现在变成AR酷炫应用...
十三 白交 发自 凹非寺 量子位 报道 | 公众号 QbitAI 魔法变现实,酷炫又实用. 还记得两年前,Zach King(男巫)的爆红魔术吗? 不仅从纸直接蹦出一个手机,还直接扔进了电脑里形成虚 ...
- 手机扫一扫,现实物体隔空「复制粘贴」进电脑!北大校友的AI新研究,现在变成AR酷炫应用
魔法变现实,酷炫又实用. 还记得两年前,Zach King(男巫)的爆红魔术吗? 不仅从纸直接蹦出一个手机,还直接扔进了电脑里形成虚拟的天猫页面. 现在,不用去羡慕男巫了,人人都可以把身边的东西&qu ...
- 微软亚洲研究院成立OpenNetLab,探索以“数据为中心”AI网络研究新范式!
2020年12月18日,微软亚洲研究院宣布联合清华大学.北京大学.南京大学.兰州大学.新加坡国立大学.首尔国立大学等多所亚洲地区高校,成立OpenNetLab开放网络平台联盟. OpenNetLab官 ...
- 用反向传播算法解释大脑学习过程?Hinton 等人新研究登上 Nature 子刊
机器之心报道 魔王.Jamin.杜伟 反向传播可以解释大脑学习吗?近日 Hinton 等人的研究认为,尽管大脑可能未实现字面形式的反向传播,但是反向传播的部分特征与理解大脑中的学习具备很强的关联性.该 ...
- Nature发表新研究,用“光”加速人工智能 | AI日报
Nature发表新研究,用"光"加速人工智能 光子计算研究再登Nature.2021刚开年,顶级科学期刊<Nature>就在一天之内连发两篇利用光学特性加速AI处理的 ...
- 谷歌新研究对神经网络数据并行性提出质疑
https://www.toutiao.com/a6670724671169626636/ 在训练神经网络时,并行计算和模型并行是很常用的方法,以最大限度地利用有限的算力.然而,谷歌的一项新研究表明, ...
最新文章
- 在Caffe中调用TensorRT提供的MNIST model
- 高可用的Spring FTP上传下载工具类(已解决上传过程常见问题)
- 自己收集的一些技术blog-javascript
- iis+nginx实现负载均衡
- java 反查域名_C段查询雏形之在Java中反查一个IP上的所有域名(旁站查询)
- GeoPoint与LocationData
- python变量名称跟着循环_python在循环中存储每次迭代使用不同名称的输入变量
- 特斯拉CEO马斯克再卖4套房 挂牌价6250万美元
- “意念打字”终成真!准确率超 99%,还登上了《Nature》封面!
- 7-21 魔法优惠券 (25 分)
- LoadRunner测试WebService的3种方式
- 缺失值了解与简单处理
- 为了找出最好用的安卓模拟器,我发起了一项众测
- Mask-RCNN(2)Resnet101
- python sanic_Python Web框架Sanic Streaming – 流式传输
- C ++ Hello World和可爱的无情彩虹
- 全基因组基因家族成员相关数据获取
- 【ELM预测】基于极限学习机ELM实现数据预测matlab源码
- mysql安装问题:由于找不到MSVCR120.dIl,无法继续执行代码。
- arthas-dashboard
热门文章
- 谁来帮帮只想救人的医生呢? | 凌云时刻
- 不同VPC路由器通过静态路由、动态路由(OSPF)实现网络互通实战
- 【优化算法】寄生-捕食优化算法(PPA)【含Matlab源码 1445期】
- 【优化算法】世界杯优化算法(WCOA)【含Matlab源码 1427期】
- 【雷达通信】基于matlab CDIF算法雷达信号分选【含Matlab源码 1186期】
- 【车牌识别】基于matlab车牌识别【含Matlab源码 417期】
- 【数学建模】基于matlab细胞传输模型实现交通流【含Matlab源码 376期】
- 【电路仿真】基于matlab simulink三相桥式全控整流电路【含Matlab源码 332期】
- ai人工智能最新相关消息_我如何了解最新的AI研究
- 禁止跨域_新的跨域策略:使用COOP、COEP为浏览器创建更安全的环境