casual Convolution 和 dilated Convolution
参考链接:https://www.cnblogs.com/fantastic123/p/9389128.html
author:gswycf
“An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling“,讲到了:虽然人们现在都在用RNN和LSTm去处理序列问题(sequence modeling),但是明显最近几年这些模型在这些问题上出现了瓶颈,你们之前都说CNN不适合处理sequence modeling问题,但其实并不是的,作者提出了一个普适的CNNN模型,在多个序列问题上和之前的RNN和LSTM比较,结果发现,CNN在这方面的能力确实是被低估了,CNN建立的model要比之前人们之前用的RNN要好很多,而且简洁。
本文主要讲述文章中提出的两个概念:因果卷积(causal)与扩展卷积(dilated)
因果卷积
因为要处理序列问题(即要考虑时间问题,)就不能使用普通的CNN卷积,必须使用新的CNN模型,这个就是因果卷积的作用,看下面一个公式,对与序列问题(sequence modeling),主要抽象为,根据x1......xt和y1.....yt-1去预测yt,使得yt接近于实际值
我们根据图片来看下因果卷积的样子,下面这个图片来自:https://deepmind.com/blog/wavenet-generative-model-raw-audio/
上面的图片可以详细的解释因果卷积,但是问题就来,如果我要考虑很久之前的变量x,那么卷积层数就必须增加(input数据越大,意味着hidden层更多)。卷积层数的增加就带来:梯度消失,训练复杂,拟合效果不好的问题,为了决绝这个问题,出现了扩展卷积(dilated)
拓展卷积
对于因果卷积,存在的一个问题是需要很多层或者很大的filter来增加卷积的感受野。本文中,我们通过大小排列来的扩大卷积来增加感受野。扩大卷积(dilated convolution)是通过跳过部分输入来使filter可以应用于大于filter本身长度的区域。等同于通过增加零来从原始filter中生成更大的filter。
这就可以解决因果卷积带来的问题,在示意图中,卷积感受野扩大了1,2,4,8倍。扩大卷积(dilated convolution)可以使模型在层数不大的情况下有非常大的感受野。
因此也可以把拓展卷积开成是因果卷积的一个变种
casual Convolution 和 dilated Convolution相关推荐
- 空洞卷积(dilated convolution)
目录 一.dialated convolution的发展由来 二.对dialated convolution的理解 三.重新思考卷积: Rethinking Convolution 四.空洞卷积的拯救 ...
- 空洞卷积(dilated convolution)理解
1.简介 Dilated/Atrous Convolution(中文叫做空洞卷积或者膨胀卷积) 或者是 Convolution with holes 从字面上就很好理解,是在标准的 convoluti ...
- 如何理解空洞卷积(dilated convolution)
论文:Multi-scale context aggregation with dilated convolutions 简单讨论下dilated conv,中文可以叫做空洞卷积或者扩张卷积.首先介绍 ...
- 【多标签文本分类】Semantic-Unit-Based Dilated Convolution for Multi-Label Text Classification
·阅读摘要: 在本文中,作者基于Seq2Seq模型,提出多级膨胀卷积.混合注意力机制两点来加以改进,应用于多标签文本分类,提高了效果. ·参考文献: [1] Semantic-Unit-Bas ...
- 空洞卷积(Dilated Convolution):有之以为利,无之以为用
https://www.toutiao.com/a6695893685260780044/ 原论文链接 https://arxiv.org/pdf/1705.09914.pdf 一.论文核心 < ...
- 膨胀卷积(Dilated convolution)
Dilated conv,中文叫做空洞卷积或者扩张卷积,起源于语义分割,大部分文章也用于语义分割,具体能否对其他应用有价值姑且还不知道,但确实是一个不错的探究方向. 感受野(receptive fie ...
- Dilated Convolution + Receptive Field
1.感受野(Receptive Field) Receptive field 是啥?看看网上的大佬们怎么说. The receptive field is defined as the region ...
- Dilated Convolution介绍
Dilated Convolution介绍 相关的两篇论文分别是[ICLR2016]MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS 和 ...
- dilated convolution
首先是诞生背景,在图像分割领域,图像输入到CNN(典型的网络比如FCN[3])中,FCN先像传统的CNN那样对图像做卷积再pooling,降低图像尺寸的同时增大感受野,但是由于图像分割预测是pixel ...
最新文章
- OV7725学习之SCCB协议(一)
- 消息提示框-事件冒泡
- java怎么设置404界面_如何使用Spring MVC显示自定义的404 Not Found页面
- ThinkPHP5如何引用新建的配置文件?
- 自定义控件的构建(10)
- Objective-C中的typedef枚举是什么?
- 二维随机变量函数卷积公式的推导
- c++ vector向量
- 原生javascript知识点
- 利用 Kubernetes Service 的 selector 无痛运维在线 pod
- c语言使用gotoxy函数清屏,system(“cls”)与gotoxy(0,0)清屏作用的问题
- 红外感应器+arduino+processing+flash 实现麦克风吹波波效果
- Android 微信人脸识别+微信二维码
- AUTOCAD——设置颜色
- video全局事件属性
- HTML中禁止自动完成和禁用输入法
- sendgrid html text,当我保存时,SendGrid通过更改我的html模板“帮助”我?
- java基础练习—逢七游戏、不死神兔、百钱百鸡、利滚利
- mysql查询表里面重复的数据_mysql查询表里的重复数据方法
- WIN11下连不上车机ADB解决方案1