进阶|“幂律与临界”支配神经网络,深度学习技术要向大脑学习
作者:Jordana
本文授权自集智俱乐部(ID:swarma_org),转载请联系授权。
未经许可请勿二次转载。
最新的研究表明,神经活动的模式细节丰富且维度很高,它们并不会产生分形,还能保持光滑。
导语
近年来,怎样让深度学习的系统借鉴大脑的编码机制成为了一个热点问题。最近,研究人员从大脑的视觉神经网络中发现了令人惊讶的临界现象和幂律,这一发现对于深度学习系统的设计和稳定性分析都有重要的启发。
近期发表在quantamagazine上的《A Power Law Keeps the Brain’s Perceptions Balanced》上的一篇文章提出了大脑的认知平衡与幂律法则的关系。此文是针对这篇文章的编译,供读者参考。
大脑的认知平衡由幂律来守护!
我们可以用临界点来刻画人类的大脑活动:高活跃度还是低活跃度;密集网络还是稀疏网络;有序还是无序,这些不同状态之间的分界线就是临界点。现在,通过分析有史以来最大数目的神经元的放电模式,研究者发现了另外一个临界点——这个临界点表现在神经编码中——传入大脑的感觉信息和信息的脑神经表征之间的数学关系。他们的研究结果发表在了今年6月的《Nature》杂志上。
论文题目:
High-dimensional geometry of population responses in visual cortex
论文地址:
https://www.nature.com/articles/s41586-019-1346-5
研究表明,大脑在尽可能多地处理信息和灵活地降噪之间达成了某种平衡。这让人类的大脑可以优先处理刺激信号中最显著的部分,而不是没完没了地区分别细枝末节。人脑的这种工作方式,为人工智能系统的设计提供了新思路。
科学家们最初的工作并不是为了发现这种平衡行为。一开始,他们只是在研究一个简单的课题:视觉皮层到底是用不同的模式表示不同的刺激,还是重复使用相同的模式?研究者将后一种情况称之为低维度神经活动,在这种情况下,神经编码的相关词汇匮乏,但是也能应对细微的噪音传入。就好比一个一维的编码,接受到了一个刺激信号只能表示“好”还是“坏”。单个神经元的放电量可能会随着输入而变化,但多个神经元彼此之间是高度相关的,他们的放电模式总是一起增加或减少,即便存在个别误差,但刺激信号仍然可以被正确识别。
另一个极端情况则是高维度神经活动,此时,神经活动相互之间的相关性要低得多。因为信息可以由多个维度来刻画描述,而不是仅仅使用“好-坏”这一个轴,所以,神经系统可以编码更多的刺激信息。这样做的缺点就是系统缺乏冗余信息,大脑无法从单一的神经信息中推测出整体状态。这会使得系统更容易被淘汰。
在过去的几十年中,研究普遍显示,神经系统倾向于低维表示。尽管自然界包含着极为丰富的信息,但是我们的大脑却偏好于丢弃大量信息,并使用简单的神经信号描述信息。但是,后来的研究表明:这个结论是可以归结为实验本身的缺陷。被试动物只受到非常少量的、或者非常简单的刺激。而且,研究者一次也只能记录有限数量的神经元信息。
论文题目:
A theory of multineuronal dimensionality, dynamics and measurement
论文地址:
https://www.biorxiv.org/content/10.1101/214262v2
用伦敦大学学院的神经科学家 Kenneth Harris 的话说:“这种实验肯定会得出这样的结论,不然还能怎么样呢?”
伦敦大学学院的神经科学家 Kenneth Harris 和他们同事们通过检测被试动物的 10,000 个神经元。以此来研究视觉刺激的高维度神经活动。
因此,Harris和他的同事们发明了能同时记录一万个神经元的新技术后,重新开始研究这一课题。他们让小鼠观看了近 3000 幅自然图片,同时检测动物视觉皮层的反应,发现了与高维度的神经活动相适应的一系列模式。
但研究者们也发现了一些与神经活动相关的谜团。神经元并没有对所有的维度都一视同仁:少数维度(或者说放电模式)已经涵盖了绝大多数刺激带来的视觉神经反应,增加其它的维度只是以越来越小的增量进一步提高预测能力。这种递减的模式服从幂律分布,慕尼黑技术大学的计算神经学家 Jakob Macke (并未参与此项研究)表示:“幂律分布非常普遍,只要你去找,几乎在任何地方都可以找到它。”
Harris 和他的同事们对这一现象背后的含义仍然感到困惑。尽管近期的研究对幂律法则的相关性以及普遍性提出了质疑。比如 Harris 就开玩笑说:“你会发现特朗普的推文的感叹号数目的分布也服从幂律分布。”这个规律还是比较特别的。幂律曲线有一个特定的斜率,这个斜率所代表的指数无法用外界刺激的数学规律来解释。
Harris说:“这种数据中的定量规律,不常出现在生物学科中……我们并不知道这意味着什么。”但是,这背后却似乎有什么含义。
为了解释这背后的含义,研究者借鉴了函数可微性方面的研究成果。他们发现,如果从输入到输出的幂律映射衰减变慢,那么输入上很小的变化,也会引起输出很大的波动。研究者把这种现象称之为平滑性崩溃——底层编码的输出结果并不总是连续的。
供职于霍华德休斯医学研究所的 Carsen Stringer 认为,大脑能处理的维度水平受到了限制,防止图像中的无关细节“压过”主要内容的“风头”。
用该研究的共同负责人 Carsen Stringer 和 Marius Pachitariu 的话来说:这就像是处在在分形的边缘。他们二人都曾在 Harris 的实验室工作,现在都是弗吉尼亚州霍华德休斯医学研究所Janelia 研究中心的研究员。 Stringer 说:“想象一下英国海岸线的分形。因为有锯齿状的边缘,即便你只是沿着海岸线走了一小步,你的状态也会快速的变化。”
用脑科学的话来说就是,两幅相似的图像背后是非常不同的神经活动,“这是有问题的”,Stringer 认为,“如果图像上只有一个像素点发生了变化,或者图像移动了一点,你不会希望大脑中的神经表征发生彻底的变化。”
相反,如果幂律衰减得很快,神经表征会变为低维。它们只能编码更少的信息——强调一些关键的维度,而忽略别的维度。
综上所述,这两个规律意味着,神经表征在保持平滑的前提下,尽可能做到细节丰富、增加维度。
按照 Harris 的说法,这一发现的一种解释就是,在衰减缓慢的情况下,那些不太重要的维度就会受到太多的关注(因为如果神经活动-维度之间的曲线变得平缓,就意味着该系统平等地对待所有的维度)。视觉刺激中的细节会掩盖更加重要的特征:视觉皮层总是对某些琐碎的细节过于敏感,而无法形成连贯的感知以及决策。同理,在衰减较快的情况下,那些较重要的特征将获得更多的权重,但这又可能会让那些更细节的关键特征完全被主要特征所淹没。
实验小鼠视觉皮层的细胞区域在接受到来自Harris的团队的图片刺激后, 神经元放电时会发出荧光。这种放电模式表明,大脑在表征各种图像时,幂律法则发挥了作用。大多数细胞对相同的刺激做出了反应,而额外的刺激只能激活依指数衰减的更少数量的细胞。
大脑做得恰到好处。华盛顿大学的数学神经学家 Eric Shea-Brown(未参与这项研究)说道:“这是介于两个状态之间的临界点,它在平滑性和系统性之间达成了平衡。除了对相似的输入给出相似的相应以外,还要尽可能多地表达输入的细节。”
Harris 和他的团队又做了另一项实验来验证他们的观点。他们发现幂律曲线的特定斜率取决于高维度的刺激,比如说一张复杂的图片。但是他们计算出,如果传入的视觉输入更加简单、低维,那么斜率就必须更加陡峭,以避免在平滑度方面出现问题。
这正是他们在分析观看低维图像的小鼠的神经活动时所看到的现象。
如果图像上只有一个像素点发生了变化,或者只是图像移动了一点,你不会希望大脑中的神经表征发生彻底的变化。——霍华德·休斯医学研究所 Carsen Stringer
现在,研究者想要确定这种幂律背后的生物学机制。他们还希望继续探索幂律法则在别的脑区、执行其他任务或行为、以及在疾病模型中所发挥的作用。
他们开始探索的一个领域就是众人瞩目的人工智能。深度学习系统在平滑性方面也面临着自己的问题:经过训练的机器学习模型能够识别出熊猫,但是即便是只改动了少量甚至人类无法分辨的像素,机器也有可能把它错误的标记为黑猩猩。Harris 说:“这就是人工智能神经网络的病理特征,它们总会对某些细节过度敏感。”
计算机科学家一直在试图确定这背后的原因,而 Harris 认为,他们团队的发现能为解决这一问题提供线索。深度学习网络的初步分析表明,人工神经网络中的某些层级也遵循幂律定律,但幂律的衰减比他们在小鼠实验中看到的要慢。Harris、Stringer 和他们的同事怀疑这种深度学习网络非常脆弱,因为这与大脑中的网络不同,这些网络所产生的表征并不完全连续。 Harris 认为,也许把他们研究幂律所得到的经验应用于深度学习网络,能让它更加稳定。只不过,依照Macke 的说法,这项研究仍然处于早期阶段,Macke 本人也在研究深度学习网络中幂律法则。
Shea-Brown 仍然认为这是一个不错的起点。他说:“连续且平滑的关系对于建立概括和比较不同情境的能力似乎非常重要。”科学家开始了解大脑是如何利用它完备的神经网络来编码和表征这个世界的。现在,有了这样一个“惊人且漂亮的结果”,科学家们再继续思考神经编码的问题时,就有了“新的目标……和有用的参照”。
Harris 指出,视觉皮层中出人意料的幂律法则“只不过是数据向我们呈现的东西”。现在,可以利用他们团队的技术,一次性地成像和分析成千上万个神经元来寻求解决其它的研究问题。“幂律相关的事实可能只是一个非常基础的发现”,还会有许多无法预料的洞见。“这一整套方法将改变我们对于事物的看法。”
原文地址:
https://www.quantamagazine.org/a-power-law-keeps-the-brains-perceptions-balanced-20191022/
翻译:Leo
审校:傅渥成、Frank Xu
编辑:张爽
不断更新资源
获取更多精彩
长按二维码扫码关注
进阶|“幂律与临界”支配神经网络,深度学习技术要向大脑学习相关推荐
- 2018-4-2 幂律分布函数
材料来源 幂律分布 - CSDN博客 https://blog.csdn.net/Together_CZ/article/details/71403073?locationNum=6&fps= ...
- 【转载】关于幂律分布的一个笔记
关于幂律分布的一个笔记 原文转自:http://blog.sina.com.cn/s/blog_55954cfb0100ps89.html 0:题外话或补记 最早知道二八法则,还是一本介绍犹太民族杰出 ...
- 关于幂律分布的一个笔记_哈克_新浪博客
关于幂律分布的一个笔记_哈克_新浪博客 关于幂律分布的一个笔记 (2011-03-02 18:12:27) 转载▼ 标签: 幂律 二八法则 杂谈 ...
- 第10章* 网络 幂律分布
幂律是说节点具有的连线数和这样的节点数目乘积是一个定值,也就是几何平均(对各变量值的连乘积开项数次方根)是定值. 例:有10000个连线的大节点有10个,有1000个连线的中节点有100个,100个连 ...
- 从幂律分布到特征数据概率分布——12个常用概率分布
在机器学习领域,概率分布对于数据的认识有着非常重要的作用.不管是有效数据还是噪声数据,如果知道了数据的分布,那么在数据建模过程中会得到很大的启示. 首先,如下图所示8个特征数据概率分布情况(已经做归一 ...
- Power law and Power law distribution(幂律和幂律分布)
原文:<Power-law distribution in empirical data> 1. Introduction 有些分布可以很好的描述,比如成年男性的身高,某物体的重量等,它们 ...
- 逆幂律模型_逆幂律曲线的基本架构永远不会改变
鲁迪·拉克(Rudy Rucker):数学家,计算机科学家,赛博朋客(cyberpank)先驱,科幻小说家,著有<穿梭于有序与无序的杂乱间>(Surfing the Gnarl). 我们的 ...
- 数理统计10.15 | 幂律分布
数理统计10.15 | 幂律分布 定义 示例 幂律与"长尾" 克莱伯定律(Kleiber's Law) Zipf定律:书籍中单词频率的分布 Pareto定律(帕累托定律) 性质 标 ...
- 逆幂律模型_思维模型18 - 幂律分布是什么?
上篇关于正态分布的内容中提到了自然界中许多事物的概率分布都近似的符合正态分布,后来我们拿大多数人最关心的财富来举例,但它符合正态分布符合对数正态分布,这是以人数做统计,但如果按照各个资产量统计人数的话 ...
最新文章
- “996 是福利,007 才是常态”?!千万程序员怒怼每日优鲜!
- access窗体中再制作查询窗体_Access
- VTK:图片之CannyEdgeDetector
- Tomcat 配置和spring-framework MVC配置简介
- redistemplate.opsforvalue 设置不过期_民法典即将实施!“离婚冷静期”倍受关注
- STP端口状态特点、STP端口角色特点、链路状态发生变化,STP如何重新收敛? TCN何时发?uplinkfast技术、Portfast技术、backbonefast技术、常见的STP调整命令:
- Windows 10系统 装Ubuntu,亲测有效
- C++之访问命名空间/名字空间元素的三种方式
- JAVA中几种循环结构的表示_本文通过实例讲解给大家介绍Java中for、while、do while三种循环语句的区别,具体详情如下所示:第一种:for循环 循环结构for语句的格式...
- Common Lisp之Slime函数调用快捷键(三)
- Hibernate的批量处理-批量更新
- java重载静态方法_java – 使用静态和非静态方法重载的方法
- html中加入标题居中,在html标题标记中居中的div元素
- [Maven实战-许晓斌]-[第二章]-2.7-2.8 Mave安装的最优建议和安装小结
- 怎样修改edge默认浏览器
- 发现了吗?西部世界III在Broadway上的广告
- Python爬虫之爬取实习僧并导入Mysql
- python中del怎么用_Python范例中的del关键字
- element-ui+vue,翻页添加首页、尾页跳转按钮
- 微信公众号开发使用测试号不能测试支付接口的解决方案
热门文章
- 《精通labview教程——由浅入深的范例学习(第二版)》课后题答案
- 选择今后的工作学习方向
- 网络工程师必备基础(一)
- 让用户输入一个数字(0-9),然后输出对应的大写汉字。
- 黑芝麻A1000 安装Xtensa Xplorer IDE并执行硬件部署文件(七)
- 4g网络设置dns地址_4G网速越来越慢,通过这三个简单的操作,网速成倍提升
- Python 方格子Ising模型模拟
- B08.python智能盯盘 + 声音报警 - 有意思的小东西【黑科技】
- move_base源码解析
- GX Works2、MX OPC 6.04以及组态王6.55联合模拟仿真