channel-wise卷积--学习笔记
背景：
分组卷积的分组思想会导致channel间的信息阻隔，为了增加分组间的channel信息交流，一般需要添加一个融合层。
一般网络最后都使用全局池化和全连接层进行最后的分类，但参数量巨大，可转化为深度可分离卷积，使用固定权重的深度卷积代替全局池化，pointwise卷积代替全连接层。
alexnet使用完全独立的组卷积，两个组之间没有信息交互
mobilenet使用深度可分离卷积，使用1X1 point-wise 卷积全连接使各个通道交换信息。（1X1标准卷积是一种全连接结构，从m个特征到n个特征的映射，需要使用n个1X1*m的卷积核）
shuffleNet虽然使用完全独立的组卷积，但每次组卷积之前都重新打乱各通道的顺序，实现通道间顺序的交互
channel-wise卷积：
在channel维度上进行滑动，能够更好地保留channel间的信息交流
改变输入到输出的稠密连接方式：将输入输出的维度连接进行稀疏化而非全连接（每个输出仅与部分输入相连，以一定的stride去采样多个相关输入进行输出，能够减低参数量以及保证channel间一定程度的信息流），区别于分组卷积的严格分组。
channel-wise卷积使用1个共享的1维卷积核（1个d_c维的卷积核），相当于对原始输入在通道维度上做采样。
一般网络最后是全局池化+全连接层，但是全连接层的参数量十分巨大,将全连接层修改为channel-wise convolution。全局池化相当于DfXDfX1的3D卷积，而channel-wise convolution相当于是1X1XDc的3D卷积，因此两者可以组合成DfXDfXDc的3D卷积，其中 ,是为了保证最后得到n个映射（stride=1 padding=0）。
核心：通过1维卷积，在channel维度上卷积(采样)，实现了分组卷积各通道的稀疏通信，在channel维度上滑动采样，一个组的特征来自多个通道采样，一个通道可以被多个组采样，使得各组的通道信息充分相融
channel-wise卷积可视化：
深度可分离卷积：
能够减少网络的计算量和参数量
全连接分类层的权重实际非常稀疏（很多是为0或接近0的值（论文ChannelNets: Compact and Efficient Convolutional Neural Networks via Channel-Wise Convolutions对全连接分类层进行了可视化））
- point-wise和channel-wise对比：
channel-wise卷积--学习笔记相关推荐
- 狄利克雷卷积_狄利克雷卷积学习笔记
蒟蒻我在莫比乌斯反演学习笔记里留下了几个坑,于是开始漫长的填坑路. 狄利克雷卷积学习笔记 前置知识1:数论函数 什么是数论函数呢?数论函数指定义域为正整数,陪域为复数的函数. 以下知识中涉及到的函数大 ...
- 膨胀卷积的缺点_膨胀卷积学习笔记
膨胀卷积 (Dilated Convolution,也称为空洞卷积),与标准的卷积核不同,膨胀卷积在 kernel 中增加了一些空洞,从而可以扩大模型的感受野. 1.膨胀卷积和标准卷积区别 我们先通过 ...
- 【原创】积性函数和狄利克雷卷积学习笔记 未完成
Index 狄利克雷卷积和积性函数 〇.说在前面 一.一些定义 1.数论函数 2.积性函数与完全积性函数 (1)定义 (2)举例 ①(普通)积性函数 ②完全积性函数 (3)性质 二.狄利克雷卷积 1. ...
- 【李宏毅机器学习】Convolutiona Neural Network 卷积神经网络（p17） 学习笔记
李宏毅机器学习学习笔记汇总 课程链接 文章目录 Why CNN for image? property1:对于整张图来说,一些局部是很小的 property2:相同的部分会出现在不同的图片中 prop ...
- AI学习笔记（十）卷积神经网络
AI学习笔记之卷积神经网络 卷积神经网络简介 卷积层 池化层 卷积神经网络 卷积核 填充padding 常见的卷积神经网络 cifar-10预测实例 数据预处理--图像增强 图像增强常用方法 Alex ...
- 吴恩达 - 卷积神经网络 学习笔记（一）
转载来源:http://www.cnblogs.com/marsggbo/p/8166487.html DeepLearning.ai学习笔记(四)卷积神经网络 – week1 卷积神经网络基础知识介 ...
- 霹雳吧啦wz学习笔记1_卷积神经网络
霹雳吧啦wz学习笔记1_卷积神经网络 全连接层: 全连接层就是由许许多多的神经元共同连接而得来的 卷积层: 卷积就是一个滑动窗口在我们的特征图上进行滑动并计算 卷积的目的:进行图像特征提取 卷积核的c ...
- 深度学习笔记其五：卷积神经网络和PYTORCH
深度学习笔记其五:卷积神经网络和PYTORCH 1. 从全连接层到卷积 1.1 不变性 1.2 多层感知机的限制 1.2.1 平移不变性 1.2.2 局部性 1.3 卷积 1.4 "沃尔多在 ...
- 学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
学习时间:2022.04.10~2022.04.12 文章目录 3. 卷积神经网络CNN 3.1 卷积神经网络的概念 3.1.1 什么是CNN? 3.1.2 为什么要用CNN? 3.1.3 人类的视觉 ...
最新文章
- 清华大学副校长杨斌在“双创”教育论坛暨经验研讨会开幕式上致辞：创新创业教育与大学未来...
- zblog文件大小超出，上传成功但插入不了
- myeclipse6-ejb3入门
- 找不到java.vbs_无法找到脚本*.VBS的脚本引擎解决办法
- Netty对Protocol Buffer多协议的支持（八）
- 从支付宝面试题谈：怎样有效减少用户咨询的客服成本
- spring 循环依赖注入
- 月份对比_6月份钢坯市场或将高位回落
- 使用Hybris的customer conpon进行促销活动(promotion)
- 如何根据ABAP类的一个方法名称，反查出这个类的名称
- 【转】类与类之间的常见关系,uml图表示
- 10 分钟，带你快速入门前端三大技术（HTML、CSS、JavaScript)
- python如何读取csv文件列表页_Python：使用列表列表读取CSV文件的字段
- PascalVOC Dataset下载链接
- 开服当GM的基本准则
- DuKBitmapImages 图片压缩处理技术
- MBTI职业性格测试 测评报告
- Hazelcast 介绍与使用(整理)
- ubuntu 16 xenial EKL安装
- 学习笔记2018-10-26 读论文A single algorithm to retrieve turbidity from remotely-sensed data in all coastal