模拟人类大脑每秒计算数量级及参数容量的估计

因为海马区两类中间神经元峰值放电频率为310±33.17Hz（类型Ⅰ）和410±47.61Hz（类型Ⅱ）[1]。可以推断出人类神经元的最大计算频率在450Hz左右。可以在最大值410+47.61Hz上保守估计为500Hz。

根据维基百科List of animals by number of neurons人类神经元数量为860亿，突触数量为10^14–10^15，也就是人类每个神经元平均拥有1163~11628个神经突触，下面我们取最大值 11628 作为基准以方便论述。所以大脑每秒最高计算量为860亿乘以500为：43万亿（这里认为突触只参与数据传输）。

根据现有的神经元计算模型,如下（来源于ufldl.stanford）

其中平均每个神经元计算1次需要的计算为：

其中n=11628。f 为Sigmoid函数或者其他激活函数。f 函数中的浮点计算次数为：23254次。f 函数的浮点计算次数为4次左右，所以整个h浮点计算次数为：23258次（这里忽略I/O的效能、内存的架构、快取内存一致性等，下同）。

假设以大脑的神经元数量（860亿）为需要模拟的神经元数量，以前面大脑处理频率（500Hz）作为计算频率，那么计算机每秒最高需要的总浮点计算次数为：79亿亿次。

可见现在神经元的计算模型严重依赖于突触的数量，其计算量是最高需要大脑的18327倍！ (现在的深度网络已经废弃Sigmoid而以Relu作为激活函数，其中的计算会遇到大量的0值，但是以现在的算法和计算机模型，0值依然要计算，而大脑却不是，大脑的计算方式是惰性计算，即有电流（值）传到神经元才计算，没有就不计算，所以这也是大脑高效的一个原因) 。因为我们的大脑不会在同一时间其所有的神经元同时激活，所以这里我们在估算大脑的计算数量级的时候，忽略了大脑神经元的平均激活数量和最大激活数量，而仅仅以总的数量作为计算激活数量。如果以最大激活数量作为我们计算法基准，那么整个计算的数量级可能下降很多，此时计算机需要模拟的每秒最高计算次数：如果最多同时激活50%神经元时为，39.5亿亿次；同时激活10%时为，7.9亿亿次。

天河二号的峰值计算速度每秒5.49亿亿次，因为上面计算量取的最多突触连接和最大大脑处理频率时的，所以天河二号有高可能性能够模拟人类大脑。

最近（2016年3月）看了AlphaGo与李世石的比赛时的硬件数据，根据估计其运算速度大概为500万亿次浮点每秒，假设在此时AlphaGo与李世石的用脑量相同，那么模拟人脑所需要的计算量应该比上面估计的还要小。

可以说当PC计算速度超过1亿亿次浮点每秒的时候，计算（机器）智能将迎来了一个新的纪元，人类也将迎来一个新的纪元。

附：如果按照现代神经网络的架构，和人脑相同的参数，那么人脑参数量为：100~1000万亿参数量，参数以float类型表示，即占用4 byte，那么计算机所需要的硬盘空间大概为400TB~4000TB【突触数量x4/1000^12】。

参考

1. 海马CA1区ripple节律相关高频放电中间神经元

模拟人类大脑每秒计算数量级及参数容量的估计相关推荐

利用计算机模拟人类的活动属于,赠书 | 计算机能模拟人类心智吗？
原标题:赠书 | 计算机能模拟人类心智吗? 本文经授权转载自<认知:人行为背后的思维与智能> 科学理论可以分为不同的层次.不同的水平,心理学的理论也是这样.心理学有不同的派别,认知心理学与 ...
PNAS：大脑区域间耦合的增加和减少会相应增加和减少人类大脑中的振荡活动
大脑中振荡活动的起源目前仍有争议,但许多假说都认为它们反映了大脑区域之间的相互作用.本文中,我们通过控制两个人类大脑区域之间的耦合强度来检验这种可能性,这两个区域是腹侧前运动皮层(ventral pr ...
AI正在模仿人类大脑！2021年10篇顶会论文：大脑也在「无监督」学习
编辑:桃子小咸鱼 [导读]神经科学会成为人工智能「超进化」的关键吗?只要模拟大脑,神经网络就可以获得相似或相同的智能.近日,神经科学家Patrick Mineault就2021年无监督学习的大脑模型 ...
大脑就是量子计算机,人类大脑就是台量子计算机
一个过去看似牵强的理论提供了一种新思路,这使得大脑可能像量子计算机一样运作 . 只要提到"量子意识",大多数物理学家都会败下阵来,因为这个概念似乎只是一个现代大牛提出的模糊且无聊的 ...
GPU模拟猴子大脑，普通台式机变超算，英国大学研究登上Nature子刊
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达本文来源自机器之心你买来打游戏.「炼丹」的 Titan RTX,还 ...
一块GPU如何模拟猴子大脑？
视学算法报道机器之心编辑部你买来打游戏.「炼丹」的 Titan RTX,还能用来模拟猴子大脑. 用计算机模拟动物大脑通常需要一台强大.昂贵的超级计算机,但最近的一项尝试表明,安装了高性能 GPU ...
三星和哈佛大学研究人员提出黑科技：拟用存储芯片“下载”复制人类大脑
日前,三星电子研发团队和哈佛大学的研究人员在<Nature Electronics>联合发表了一篇研究论文<基于拷贝和粘贴大脑的神经形态电子>,他们在论文中提出了一种模拟人脑芯 ...
MIT用超导体制成极低功耗神经元，能效接近人类大脑，比计算机高4个量级
晓查发自凹非寺量子位出品 | 公众号 QbitAI 计算机越来越智能,但是智能的算法却需要大量的资源.一台计算机以GHz的频率运行,功耗上千瓦.而人类的大脑运行速率比电脑慢几百万倍,只有约20 ...
一块GPU模拟猴子大脑，普通台式机变超算，英国大学研究登上Nature子刊
你买来打游戏.「炼丹」的 Titan RTX,还能用来模拟猴子大脑. >>>> 用计算机模拟动物大脑通常需要一台强大.昂贵的超级计算机,但最近的一项尝试表明,安装了高性能 GP ...

模拟人类大脑每秒计算数量级及参数容量的估计

模拟人类大脑每秒计算数量级及参数容量的估计相关推荐

最新文章

热门文章