神经网络中的权值共享

2012年的AlexNet网络是深度学习的开端，但是CNN的开端最早其实可以追溯到LeNet5模型，它的几个特性在2010年初的卷积神经网络研究中被广泛的使用——其中一个就是权值共享。

神经网络的输入是什么？如果还是一个个像素点上的像素值的话，那就意味着每一个像素值都会对应一个权系数，这样就带来了两个问题：

每一层都会有大量的参数。
将像素值作为输入特征本质上和传统的神经网络没有区别，并没有利用到图像空间上的局部相关性。

权值共享的卷积操作有效解决了这个问题，无论图像的尺寸是多大，都可以选择固定尺寸的卷积核，LeNet中最大的卷积核只有5*5*1，而在AlexNet中最大的卷积核也不过是11*11*3。而卷积操作保证了每一个像素都有一个权系数，只是这些系数是被整个图片共享的，着大大减少了卷积核中的参数量。此外卷积操作利用了图片空间上的局部相关性，这也就是CNN与传统神经网络或机器学习的一个最大的不同点，特征的自动提取。

权值共享后意味着每一个卷积核只能提取到一种特征，为了增加CNN的表达能力，当然需要多个核，不幸的是，它是一个Hyper-Parameter。

神经网络中的权值共享相关推荐

如何理解卷积神经网络中的权值共享
权值共享这个词最开始其实是由LeNet5模型提出来,在1998年,LeCun发布了LeNet网络架构,就是下面这个: 虽然现在大多数的说法是2012年的AlexNet网络是深度学习的开端,但是CNN的 ...
卷积神经网络中的权值共享
一.起源权值共享这个词最开始其实是由LeNet5模型提出来,在1998年,LeCun发布了LeNet网络架构其实权值共享这个词说全了就是整张图片在使用同一个卷积核内的参数,比如一个3*3*1的卷积 ...
理解卷积神经网络中的权值共享
首先介绍单层网络实行的权重共享袁力介绍简单从共享的角度来说:权重共享即filter的值共享卷积神经网络两大核心思想: 1.网络局部连接(Local Connectivity) 2.卷积核参数共享( ...
如何理解CNN中的权值共享
记录一下深度学习中CNN中的权值共享首先,卷积网络的核心思想是将:局部感受野.权值共享(或者权值复制)以及时间或空间亚采样这三种结构思想结合起来获得了某种程度的位移.尺度.形变不变性. 通俗理解,所 ...
CNN中的局部连接(Sparse Connectivity)和权值共享
局部连接与权值共享下图是一个很经典的图示,左边是全连接,右边是局部连接. 对于一个1000 × 1000的输入图像而言,如果下一个隐藏层的神经元数目为10^6个,采用全连接则有1000 × 1000 ...
CNN中的卷积操作与权值共享
CNN中非常有特点的地方就在于它的局部连接和权值共享,通过卷积操作实现局部连接,这个局部区域的大小就是滤波器filter,避免了全连接中参数过多造成无法计算的情况,再通过参数共享来缩减实际参数的数量, ...
卷积神经网络权值共享是什么简单易懂版
要知道权值共享, 先要知道这里面的权值是什么, 要知道权值是什么, 先要知道卷积的具体内涵是什么首先,卷积是什么鬼意思? 卷积的过程可以看成是滤波的过程, 卷积核也可以叫做滤波器, 所以大家把它叫做 ...
局部连接来减参，权值共享肩并肩（深度学习入门系列之十一）
系列文章: 一入侯门"深"似海,深度学习深几许(深度学习入门系列之一) 人工"碳"索意犹尽,智能"硅"来未可知(深度学习入门系列之二) 神经 ...
【深度学习之美】局部连接来减参，权值共享肩并肩（入门系列之十一）
系列文章: 一入侯门"深"似海,深度学习深几许(深度学习入门系列之一) 人工"碳"索意犹尽,智能"硅"来未可知(深度学习入门系列之二) 神经 ...

神经网络中的权值共享

神经网络中的权值共享相关推荐

最新文章

热门文章