怎样在神经网络设计中加入先验信息

怎样在神经网络设计中加入先验信息 - 权值共享

当然，怎样在神经网络设计中建立先验信息，以此建立一种特定的网络结构，是必须考虑的重要问题。遗憾的是，现在还没有一种有效的规则来实现这一目的；目前我们更多的是通过某些特别的过程来实现，并已知可以产生一些有用的结果。特别是我们使用下而两种技术的结合：
1. 通过使用称为接收域 (receptive field) 的局部连接，限制网络结构。
2. 通过使用权值共享 (weight-sharing)，限制突触权值的选择。
这两种方法，特别是后一种，有很好的附带效益，它能使网络白由参数的数量显著下降。
作为特例，考虑一个如图 20 所示的部分连接前馈网络。这个网络构造具有带限制的结构。顶部 6 个源节点组成隐藏神经元 1 的接收域，网络其余隐藏神经元类推。一个神经元的接收域被定义为输入域区域，其输入刺激能够影响该神经元产生的输出信号。接收城的绘制是关于该神经元行为以及其输出的有效而快速的描述。
为满足权值共享限制，我们对网络隐藏层中的每个神经元都使用同一组突触权值。这样，在图 20 所示的例子中，每个隐藏神经元有 6 个局部连接，共有 4 个隐藏神经元，我们可以表示每个隐藏神经元的诱导局部域如下：

其中构成所有四个隐藏神经元共享的同一权值集，为从源节点 k = i + j - 1 挑选的信号。上式为卷积和的形式。这里描述的前馈网络使用局部连接和权值共享的方式，我们称这样的前馈网络为卷积网络 (LeCun and Bengio, 2003)。

References
(加) Simon Haykin (海金) 著, 申富饶, 徐烨, 郑俊, 晁静译. 神经网络与机器学习[M]. 北京:机械工业出版社, 2011. 1-572

怎样在神经网络设计中加入先验信息 - 权值共享相关推荐

神经网络中的权值共享
2012年的AlexNet网络是深度学习的开端,但是CNN的开端最早其实可以追溯到LeNet5模型,它的几个特性在2010年初的卷积神经网络研究中被广泛的使用--其中一个就是权值共享. 神经网络的输入 ...
如何理解卷积神经网络中的权值共享
权值共享这个词最开始其实是由LeNet5模型提出来,在1998年,LeCun发布了LeNet网络架构,就是下面这个: 虽然现在大多数的说法是2012年的AlexNet网络是深度学习的开端,但是CNN的 ...
卷积神经网络中的权值共享
一.起源权值共享这个词最开始其实是由LeNet5模型提出来,在1998年,LeCun发布了LeNet网络架构其实权值共享这个词说全了就是整张图片在使用同一个卷积核内的参数,比如一个3*3*1的卷积 ...
CNN中的卷积操作与权值共享
CNN中非常有特点的地方就在于它的局部连接和权值共享,通过卷积操作实现局部连接,这个局部区域的大小就是滤波器filter,避免了全连接中参数过多造成无法计算的情况,再通过参数共享来缩减实际参数的数量, ...
CNN中的局部连接(Sparse Connectivity)和权值共享
局部连接与权值共享下图是一个很经典的图示,左边是全连接,右边是局部连接. 对于一个1000 × 1000的输入图像而言,如果下一个隐藏层的神经元数目为10^6个,采用全连接则有1000 × 1000 ...
如何理解CNN中的权值共享
记录一下深度学习中CNN中的权值共享首先,卷积网络的核心思想是将:局部感受野.权值共享(或者权值复制)以及时间或空间亚采样这三种结构思想结合起来获得了某种程度的位移.尺度.形变不变性. 通俗理解,所 ...
高效深度学习软硬件设计——神经网络压缩、 Pruning模型剪枝、权值共享、低秩近似
目录问题引出高效推断的算法 Pruning模型剪枝步骤剪去参数--形状不规则剪去神经元--形状仍然规则 Why Pruning Pruning Changes Weight Distribu ...
理解卷积神经网络中的权值共享
首先介绍单层网络实行的权重共享袁力介绍简单从共享的角度来说:权重共享即filter的值共享卷积神经网络两大核心思想: 1.网络局部连接(Local Connectivity) 2.卷积核参数共享( ...
线性神经网络原理以及MATLAB算法实现权值拟合和可线性分类
前言本章主要参考<MATLAB 神经网络原理与实例精讲陈明等编著> 一.线性神经网络原理一般来说,线性神经网络就是感知器的升级版,但相比于单层感知器,线性神经网络有很多的优点,其对比 ...

怎样在神经网络设计中加入先验信息 - 权值共享

怎样在神经网络设计中加入先验信息 - 权值共享

怎样在神经网络设计中加入先验信息 - 权值共享相关推荐

最新文章

热门文章