如何重建深层神经网络的可塑性？
2020-01-23 17:01:00
全文共1901字，预计学习时长6分钟
图源：Unsplash
目前在人工智能和大数据方向炒的最火的就是深度学习，深度学习是神经网络的一个大的分支，深度学习的基本结构是深度神经网络，它是一种人工神经网络，人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。
目前，人脑仍然是人工智能领域的最大灵感来源。
人脑大约由100亿个神经元组成，而其中的每个神经元又与约100～10000个其他神经元相连接，如此构成一个庞大而复杂的神经元网络。
神经科学方法尝试在人工智能模型中重建人脑的某些机制。在这些机制中，可塑性在人脑许多学习过程发挥着关键作用吗？我们可以在人工智能主体中重建可塑性吗？
图源：Unsplash
突触可塑性是人脑拥有的神奇能力，这困扰了神经科学家数十年。从神经科学的角度来看，突触可塑性是指神经元（或突触）之间根据大脑活动随时间增强或减弱连接的能力。
一般而言，突触可塑性与著名的赫布定律有关：“一起发射的神经元连在一起”，这试图总结：根据在不同认知任务上的常规使用情况，大脑如何形成长时间的连接。这不足为奇，突触可塑性被认为是长期学习和记忆等领域的基础。
在人工智能太空领域，研究人员长期以来尝试建立模拟突触可塑性的机制，以改善神经网络的学习。最近，Uber人工智能实验室团队发表了一篇研究论文，提出了一种“可微可塑性”的元学习方法，该方法模仿了突触可塑性动力学，以创建经过初步训练就可以从经验中学习的神经网络。
在人工智能模型中，模拟突触可塑性并不新鲜，但在深度学习领域却相对新颖。通常，可塑性机制限定在进化算法的领域，尤其是反向传播技术。Uber提出的可微可塑性这一创新思想需基于使用了传统梯度下降技术的扩展反向传播模型，以在计算图中分配神经元之间的连接权重。
可微可塑性的解释
可微可塑性的主要思想是给深度神经网络中每个连接分配初始权重，以及确定连接可塑性的系数。任意两个神经元i和j之间的连接既有固定组件又有可塑组件。固定部分只是传统的连接权值wi，j。可塑部分存储在Hebbian迹线Hebbi，j中，该迹线在生命周期中会根据持续的输入和输出而产生变化。该算法使用系数αi，j评估连接的可塑性。
因此，在任何时候，神经元i和j之间连接的有效总权重是基线（固定）权重wi，j的总和，加上Hebbian迹线Hebbi，j乘以可塑性系数αi，j。
在训练期间，可微可塑性模型使用梯度下降来调整结构参数wi，j和αi，j，这些参数确定了固定和可塑组件的大小。结果，经过初始训练后，主体可以从正在进行的经验中自动学习，因为每个连接的可塑组件都受到神经活动后适当成形以存储信息。该模型非常类似于人脑中的突触可塑性机制。
可微可塑性的运用
Uber研究团队在GitHub上发布了可微可塑性模型的初始实现过程。该代码包括一系列实验，这些实验评估了几种著名场景中的新型元学习技术。
例如，在图像重建任务中，深度神经网络会记住一组以前从未见过的自然图像。然后，显示其中的一张图像，但其中有一半图像被删除，该深度神经网络必须从内存中重建丢失的这一半图像。众所周知，使用非可塑性连接的传统网络（包括最新的递归体系结构，例如LSTM）解决这一任务挑战很大，但可微可塑性模型似乎可以解决这一任务。
用于评估可塑网络的另一项测试是迷宫探索挑战，这是强化学习算法的一个标准测试。在该任务中，主体必须发现、记忆并反复到达迷宫中奖励的位置。在测试过程中，可微可塑性的模型大大优于传统的强化学习模型，如下图所示。使用可微可塑性的模型（左）比传统的强化学习模型（右）能够更有效地导航迷宫。
可微可塑性实验的结果表明，这一类型的技术可以成为提高深度学习模型中元学习能力的可行模型。
此外，可微可塑性背后的思想可以应用在主流网络体系结构中，例如受益于合并可塑连接的LSTM。显然，Uber有很多强化学习场景，其中可微可塑性可带来长期的影响。
图源：Unsplash
未来将如何进一步发展，我们一直密切关注着……
如何重建深层神经网络的可塑性？相关推荐
- 人工智能:深层神经网络
为什么使用深层网络 对于人脸识别等应用,神经网络的第一层从原始图片中提取人脸的轮廓和边缘,每个神经元学习到不同边缘的信息:网络的第二层将第一层学得的边缘信息组合起来,形成人脸的一些局部的特征,例如眼睛 ...
- 深层神经网络与优化算法
深层神经网络与优化算法 为什么使用深层网络 对于人脸识别等应用,神经网络的第一层从原始图片中提取人脸的轮廓和边缘,每个神经元学习到不同边缘的信息:网络的第二层将第一层学得的边缘信息组合起来,形成人脸的 ...
- 用深层神经网络解释大脑的运作
来源:混沌巡洋舰 Daniel Yamins,麻省理工学院博士后的一位计算神经科学,有时会为了他的机器视觉项目辛苦工作到午夜以后.他煞费苦心地设计了一个系统,可以识别图片中的物体,而不管其大小.位置和 ...
- 深层神经网络中的前向传播
深层神经网络 那么什么算是深度神经网络呢? 如图所示,我们说逻辑回归是一个浅层模型,单隐层神经网络是一个双层神经网络,注意我们数网络层数的时候一定不要把输入层数进去,只是数隐藏层的数量,以及输出层. ...
- 4.5 搭建深层神经网络块-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 4.4 为什么使用深层表示 回到目录 4.6 前向和反向传播 搭建深层神经网络块 (Building Blocks of Deep Neural Networks) 这周的前 ...
- 4.1 深层神经网络-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.12 总结习题 回到目录 4.2 深层网络中的前向传播 深层神经网络 (Deep L-layer Neural Network) 目前为止我们学习了只有一个单独隐藏层的神 ...
- 【TensorFlow】笔记２：深层神经网络
一.深度学习 vs 深层神经网络 深度学习:一类通过多层非线性变换对高复杂性数据建模算法的集合. 1.激活函数 线性模型的最大特点:任意线性模型的组合仍是线性模型,能够解决的问题也是有限的,这就是线性 ...
- 第08课：深层神经网络（DNN）
上一篇是实战内容,我们使用 Python 一步步搭建了一个最简单的神经网络模型,只包含单层隐藏层.并使用这个简单模型对非线性可分的样本集进行分类,最终得到了不错的分类效果.本文将继续从深度神经网络入手 ...
- 吴恩达《神经网络与深度学习》精炼笔记（5）-- 深层神经网络
上节课我们主要介绍了浅层神经网络.首先介绍神经网络的基本结构,包括输入层,隐藏层和输出层.然后以简单的2 layer NN为例,详细推导了其正向传播过程和反向传播过程,使用梯度下降的方法优化神经网络参 ...
最新文章
- 数论（一）——素数，GCD，LCM
- 的正确使用_弹力袜的正确使用
- 人均年薪250万, 拥有400名博士, 这家AI公司去年亏27亿
- TestNG测试带参构造函数的类
- Log4net使用简介
- Linux查看设置系统时区
- redis 消息队列 过段时间不能下发_以Redis来谈消息队列
- ftp服务器通信协议设计,基于FTP协议的文件传输服务器的研究
- Canny边缘检测 原理python代码
- 【计算机组成与设计】3.4计算机CPU除法运算
- C语言图形库函数easyx下载
- org.mybatis.caches.ehcache.LoggingEhcache
- js实现定时弹出广告效果
- 海恩法则和费曼学习法
- 那个幻想奇特的诗意女孩
- 【hadoop生态之ZooKeeper】第一章Zookeeper概述【笔记+代码】
- Markdown的基本使用
- 将ES6的语法转为ES5（为了兼容 ES5） (Babel)
- Python实例集锦
- 方格网提取高程点lisp_LSP 程序说明