卷积神经网络group群卷积以及group lasso

一、group（群卷积）

group（群卷积）的思想最早出现于Alexnet论文：ImageNet Classification with Deep Convolutional Neural Networks，Alex之所以使用群卷积是因为受当时GTX580 GPU现存的限制，不能使用一块GPU训练网络，所以其将网络拆分为两组分别使用1个GPU训练。

如下所示为一个常规的卷积操作

假设输入特征图的channel为Ci，卷积核大小为W*H，输出特征图的channel为Co，那么该卷积层的参数数量为：Ci*W*H*Co

group卷积就是将输入特征图的channels Ci差分为g个组，每组Ci/g个特征图，为保持原有模型不变，那么每一组的卷积核个数为Co/g，那么总的参数个数为 $\sum(Ci/g*W*H*Co/g)=Ci*Co*W*H/g$ 参数变为的原来的1/g，再者group方法可能会保留更多的特征，因为被融合的特征图减少了，如果传统卷积一个卷积核将Ci个特征图融合为了1个，而group是将Ci/g融合为了一个。

二、group lasso

首先在讲解lasso之前先要阐述一下，lasso的全称是Least Absolute Shrinkage and Selection Operator的缩写，用我蹩脚的英语的翻译就是最小绝对值收缩和选择器，他是一种使用L1正则化的线性回归方法，而使用L2正则化的线性回归方法叫做领回归。

从我翻译的直观理解就是lasso可以使参数的对均值变小（收缩）而且还有参数选择的功能，事实上他确实是有这种功能的（参数稀疏化）。首先说的稀疏化操作我们第一时间想到的应该是向损失函数中添加l0正则化项，但是含有l0正则化项的损失函数是不连续且非凸的难以优化的，但是经过数学证明发现L1是L0的最优近似，而且L1是连续的凸函数。

总体上来说我基本是翻译了一下medium上的一篇文章

含有L1和L2正则化项的代价函数可以写成如下形式：

假设以上公式中的参数都是二维的，如下图所示，图中红色部分是为网络的代价函数，而绿色部分为约束条件也就是正则化项的代价函数，其中中心位置的β是最小化代价函数的最优解，L1正则化项是一个菱形区域于网络代价函数橡胶的点也就是说可能的最优解会出现在坐标轴上，会有一个方向上的参数为零，而上升到三维空间中，L1是一个菱形六面体会有更多的参数为零，这是也就起到了参数绝对值收缩以及参数筛选的作用了。

另一个方向理解的化可以从正则化项的倒数以及梯度下降的方面理解：后续待补充

卷积神经网络group群卷积以及group lasso相关推荐

卷积神经网络四种卷积类型
卷积神经网络四种卷积类型 https://www.toutiao.com/a6631333810287936013/ 一般卷积首先,我们需要就定义卷积层的一些参数达成一致. 卷积核大小(Kernel ...
xml文件卷积神经网络_理解卷积神经网络中的输入与输出形状(Keras实现)
即使我们从理论上理解了卷积神经网络,在实际进行将数据拟合到网络时,很多人仍然对其网络的输入和输出形状(shape)感到困惑.本文章将帮助你理解卷积神经网络的输入和输出形状. 让我们看看一个例子.CNN ...
04.卷积神经网络 W2.深度卷积网络：实例探究（作业：Keras教程+ResNets残差网络）
文章目录作业1:Keras教程 1. 快乐的房子 2. 用Keras建模 3. 用你的图片测试 4. 一些有用的Keras函数作业2:残差网络 Residual Networks 1. 深层神经网 ...
花书+吴恩达深度学习（十）卷积神经网络 CNN 之卷积层
目录 0. 前言 1. 2D 图像卷积 2. 3D 图像卷积 3. 过滤器(核函数) 4. 过滤器应用于边缘检测 5. padding 填充 6. stride 步长 7. 使用卷积的动机 8. 1乘 ...
神经网络与卷积神经网络,什么是卷积神经网络
前馈神经网络.BP神经网络.卷积神经网络的区别与联系一.计算方法不同1.前馈神经网络:一种最简单的神经网络,各神经元分层排列.每个神经元只与前一层的神经元相连.接收前一层的输出,并输出给下一层．各层 ...
图卷积神经网络3-空域卷积：GNN/GraphSAGE/PGC的引入和介绍
知乎主页https://www.zhihu.com/people/shuang-shou-cha-dai-53https://www.zhihu.com/people/shuang-shou-cha- ...
图卷积神经网络4-空域卷积：空域卷积局限性分析和过平滑解决方案
知乎主页https://www.zhihu.com/people/shuang-shou-cha-dai-53https://www.zhihu.com/people/shuang-shou-cha- ...
卷积神经网络（2D卷积神经网络和3D卷积神经网络理解）
前言卷积神经⽹络(convolutional neural network,CNN)是⼀类强⼤的神经⽹络,正是为处理图像数据而设计的.基于卷积神经⽹络结构的模型在计算机视觉领域中已经占主导地位,当 ...
一维卷积神经网络结构图,一维卷积神经网络原理
1.卷积神经网络算法是什么? 一维构筑.二维构筑.全卷积构筑. 卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Fe ...
描述卷积神经网络的结构,卷积神经网络三大特点
什么是卷积神经网络?为什么它们很重要卷积神经网络(ConvolutionalNeuralNetwork,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理 ...

卷积神经网络group群卷积以及group lasso

卷积神经网络group群卷积以及group lasso相关推荐

最新文章

热门文章