深度学习基础：深入理解Squeeze-and-Excitation (SE)网络

对于CNN网络来说，其核心计算是卷积算子，其通过卷积核从输入特征图学习到新特征图。从本质上讲，卷积是对一个局部区域进行特征融合，这包括空间上（H和W维度）以及通道间（C维度）的特征融合

我们可以发现卷积实际上是对局部区域进行的特征融合。这也导致了普通卷积神经网络的感受野不大，当然你也可以设计出更多的通道特征来增加这个，但是这样做导致了计算量大大的增加。因此为了空间上融合更多特征融合，或者是提取多尺度空间信息。也提出了许多不同的方法如Inception网络的多分支结构。对于channel维度的特征融合，卷积操作基本上默认对输入特征图的所有channel进行融合。而SENet网络的创新点在于关注channel之间的关系，希望模型可以自动学习到不同channel特征的重要程度。为此，SENet提出了Squeeze-and-Excitation (SE)模块，如下图所示：

在这里SENet实际上是对整个输入feature进行操作，感受野可以覆盖到整个输入feature上，这对于网络来说是一个有益的语义信息补充。

几个问题

SEnet为什么可以增大感受野？

普通卷积是一个非常“规矩”的矩形，起感受野也是非常规矩的矩形，而SEnet可以让卷积的感受野实现“偏移”，间接增大了感受野。假如感受野是四个点，普通卷积卷积后的四个点事一个方形，通过SEnet网络后，四个点可以能分布在图上的各种位置，这两种方式中，四个点围成的面积其实就可以看成感受野，很大概率就事SEnet网络大。

SEnet、Dcn、注意力机制？

SEnet就是通道注意力机制，注意注意力机制其实就是特征图上，某些位置（通道、时间等）的重要程度，这个重要程度可以使得普通卷积的感受野发生偏移，也就是让卷积的每个位置都有所“偏好”，Dcn（可变性卷积）其实跟SEnet没什么区别，做的是同一个事情。

深度学习基础：深入理解Squeeze-and-Excitation (SE)网络相关推荐

深度学习之感性理解-机器学习基础一
深度学习之感性理解-机器学习基础一机器学习是什么机器学习用来干嘛的机器学习是怎么做的机器学习是什么关于机器学习的定义,网上很多,我就不多说了,谈谈自己的理解.简单的说就是有一个事情想让计算机 ...
【深度学习基础】SENet——PyTorch实现CNN的SE结构改造
[深度学习基础][深度学习基础]SENet--PyTorch实现CNN的SE结构改造 1 论文关键信息 1.1 SE block 1.1.1 squeeze 1.1.2 Exitation 2 pyt ...
资源 | Intel发布AI免费系列课程3部曲：机器学习基础、深度学习基础以及TensorFlow基础
翻译 | AI科技大本营(公众号ID:rgznai100) 校对 | 成龙编辑 | 明明 Intel于近期发布了三门AI系列的免费课程,分别是关于机器学习基础.深度学习基础.TensorFlow基础 ...
深度学习基础(基本概念、优化算法、初始化、正则化等)
2020-04-25 16:29:09 引言深度学习目前已成为发展最快.最令人兴奋的机器学习领域之一,许多卓有建树的论文已经发表,而且已有很多高质量的开源深度学习框架可供使用.然而,论文通常非常简明 ...
运用深度学习教机器人理解自然语言
运用深度学习教机器人理解自然语言 2016-08-16 16:33 转载 CSDN 1条评论雷锋网按:本文作者Jonathan是21CT的首席科学家.他主要研究机器学习和人工智能如何使用在文本和知识 ...
【完结】有三AI阿里云的深度学习基础课程暂时完结，欢迎扩散学习
2021年3月份有三AI与阿里天池联合推出了深度学习系列课程, 课程内容包括人工智能与深度学习发展背景,深度学习典型应用,卷积神经网络,循环神经网络,生成对抗网络,深度学习开源框架等内容,目前已经基本 ...
[深度学习基础] 深度学习基础及数学原理
图像分类 (image classification) 问题是指, 假设给定一系列离散的类别(categories)(如猫, 狗, 飞机, 货车, ...), 对于给定的图像, 从这些类别中赋予一个作 ...
人工智能 - paddlepaddle飞桨 - 深度学习基础教程 - 编程指南
编程指南目前飞桨(PaddlePaddle,以下简称Paddle)已经同时支持动态图和静态图两种编程方式, 本文主要侧重于介绍静态图的编程方法,关于动态图编程方法,请参考动态图机制-DyGraph. ...
人工智能 - paddlepaddle飞桨 - 深度学习基础教程 - 个性化推荐
人工智能 - paddlepaddle飞桨 - 深度学习基础教程 - 个性化推荐本教程源代码目录在book/recommender_system,初次使用请您参考Book文档使用说明. 说明: 硬件 ...
第三章_深度学习基础
文章目录第三章深度学习基础 3.1 基本概念 3.1.1 神经网络组成? 3.1.2神经网络有哪些常用模型结构? 3.1.3如何选择深度学习开发平台? 3.1.4为什么使用深层表示? 3.1.5为 ...

深度学习基础：深入理解Squeeze-and-Excitation (SE)网络

深度学习基础：深入理解Squeeze-and-Excitation (SE)网络相关推荐

最新文章

热门文章