1:What is pruning

剪枝是一种模型压缩的方法，这种方法可以有效的裁剪模型参数且最小化精度的损失。由于深度学习模型可以看作是一个复杂树状结构，如果能减去一些对结果没什么影响的旁枝，也就是修剪神经网络中不重要的权重，就可以实现模型的减小。比如说看下图

我们通过观察这个函数发现有些项对应的系数是很小的，也就是说对于拟合的贡献不是很大，如果我们把系数小的去掉得到-1.2x^2-2x-8的式子，得到下图

这时候我们可以观察到这时候拟合出来的效果它的泛化能力更好，更加不会过拟合。这也是剪枝的最基本的原理，总而言之就是把不重要的参数去掉。

2:Pruning in MLP(多层感知机)

在多层感知机中，剪枝也就是减去不重要的权重，也就是近似为0的权重。

拿到最初的权重矩阵之后，在生成一个叫掩码的矩阵，也就是说如果原来的权重比较接近于0，我们就把它的掩码置为0，最后在通过原来的权重矩阵乘以掩码矩阵就可以得到新的矩阵。新的参数矩阵对应的就是上面这个连接图，没有连的就相当于被置0了。

2.2 How to make mask

numpy里面的这个函数相当方便，percentile:一组n个观测值从小到大排序，处于p%位置的值称第p百分位数。

也就是说通过np.abs()求完绝对值后，在通过np.percentile(,50)减去50%没必要的权重，后面得到的0.6意思是小于0.6的权重将被剪掉，被置为0.

3.Pruning in CNN(卷积神经网络)

中间是4个卷积核，左边是输入的特征图，右边是输出的特征图，输入的特征图对每个卷积核都进行一个卷积，中间黑色的部分是我们观察到这个卷积核的参数特别的小，置为0之后将会对output产生影响，也就是有1/4的部分都为0.和上面一样也需要设置一个mask，然后去计算每个卷积核的L2范数，如果小的话直接去掉，去掉的话就是直接乘以mask

深度学习笔记(九):神经网络剪枝(Neural Network Pruning)详细介绍相关推荐

深度学习之递归神经网络(Recurrent Neural Network，RNN)
为什么有bp神经网络.CNN.还需要RNN? BP神经网络和CNN的输入输出都是互相独立的:但是实际应用中有些场景输出内容和之前的内容是有关联的. RNN引入"记忆"的概念:递归 ...
论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning
论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning NDSS 2021录用文章目录论文学习笔记 POSEID ...
深度学习之卷积神经网络(Convolutional Neural Networks, CNN)(二)
前面我们说了CNN的一般层次结构, 每个层的作用及其参数的优缺点等内容.深度学习之卷积神经网络(Convolutional Neural Networks, CNN)_fenglepeng的博客-CS ...
吴恩达《机器学习》学习笔记九——神经网络相关（1）
吴恩达<机器学习>学习笔记九--神经网络相关(1) 一. 非线性假设的问题二. 神经网络相关知识 1.神经网络的大致历史 2.神经网络的表示 3.前向传播:向量化表示三. 例子与直觉理 ...
July深度学习笔记之神经网络与反向传播算法
July深度学习笔记之神经网络与反向传播算法一.神经网络神经网络的大致结构如下: 大致可以分为输入层.隐藏层与输出层. 而我们可以单独拿出来一个结点,可以发现,其实它就是类似一个逻辑回归(LR), ...
吴恩达深度学习笔记——卷积神经网络（Convolutional Neural Networks）
深度学习笔记导航前言传送门卷积神经网络(Convolutional Neural Networks) 卷积神经网络基础(Foundations of Convolutional Neural N ...
CV学习笔记-BP神经网络训练实例（含详细计算过程与公式推导）
BP神经网络训练实例 1. BP神经网络关于BP神经网络在我的上一篇博客<CV学习笔记-推理和训练>中已有介绍,在此不做赘述.本篇中涉及的一些关于BP神经网络的概念与基础知识均在< ...
1.4）深度学习笔记------深层神经网络
目录 1)Deep L-layer neural network 2)Forward Propagation in a Deep Network(重点) 3)Getting your matrix d ...
吴恩达深度学习笔记——卷积神经网络（CNN）
目录一.计算机视觉(Computer vision) 二.边缘检测示例(Edge detection example) 三.更多的边缘检测内容(More edge detection) 四.Padd ...

深度学习笔记(九):神经网络剪枝(Neural Network Pruning)详细介绍

文章目录

1:What is pruning

2:Pruning in MLP(多层感知机)

2.2 How to make mask

3.Pruning in CNN(卷积神经网络)

深度学习笔记(九):神经网络剪枝(Neural Network Pruning)详细介绍相关推荐

最新文章

热门文章