SpatialDropout

Dropout()和SpatialDropout1D()的区别：
假设input_shape为batch_size, timesteps, features, Dropout()，Dropout()是在所有数据上dropout，SpatialDropout1D()会按对features的某几个维度进行dropout，如图：

左图：Dropout()，右图：SpatialDropout1D()
可以通过设置Dropout()的参数noise_shape来实现SpatialDropout1D()。可以改变noise_shape查看具体效果。

import keras
import keras.backend as K
import numpy as np
ary = np.arange(35*3).reshape((3, 7, 5))
inputs = K.variable(ary)
print(ary) # result [[[ 0 1 2 3 4] [ 5 6 7 8 9] [10 11 12 13 14] [15 16 17 18 19] [20 21 22 23 24] [25 26 27 28 29] [30 31 32 33 34]]]input_shape=K.shape(inputs)
noise_shape=(input_shape[0], input_shape[1], 1)
dropout_2 = K.eval(K.dropout(inputs, 0.5, noise_shape))
print(dropout_2)

SpatialDropout1D(), SpatialDropout2D(), SpatialDropout3D()的区别在于input_shape不同。见文档

参考

SpatialDropout相关推荐

21个深度学习调参技巧，一定要看到最后一个
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自|AI算法与图像处理训练深度神经网络是困难的.它需要知识 ...
智能车竞赛技术报告 | 智能车视觉 - 天津大学 - 北洋钽星
简介: 全国大学生智能汽车竞赛以"立足培养.重在参与.鼓励探索.追求卓越"为宗旨.本文介绍的AI视觉智能车结合了图像处理.神经网络.PID控制.机械设计等技术,实现了省赛国赛的比 ...
【深度学习】21个深度学习调参技巧，一定要看到最后一个
点击上方"AI算法与图像处理",选择加"星标"或"置顶" 重磅干货,第一时间送达这篇文章在国外知名的网站 medium 上面获得了一千多的 ...
21个深度学习调参的实用技巧
文 | AI_study 源 | AI算法与图像处理导读在学习人工智能的时候,不管是机器学习还是深度学习都需要经历一个调参的过程,参数的好坏直接影响着模型效果的好坏.本文总结了在深度学习中21个实 ...
【正则化】各种Dropout方法
1) Dropout:完全随机扔. 2) SpatialDropout:按 channel 随机扔. 3) Stochastic Depth:按 res block 随机扔. 4) DropBlock ...
让dropout在图像超分辨领域大放异彩！[2022 CVPR]
<Reflash Dropout in Image Super-Resolution>这是篇来自中国科学院深圳先进技术研究院的2022年CVPR的探究型文章,探索了在图像恢复领域如果加入d ...
CLUENER 细粒度命名实体识别baseline：BiLSTM-CRF
文章目录数据类别标签类别定义 & 标注规则数据下载地址数据分布数据字段解释数据来源 baseline:BiLSTM-CRF 运行参考命名实体识别(NameEntity Reco ...
中文NER任务简析与深度算法模型总结和实战展示
目录一.中文NER定义 1.什么是NER 2.怎么来完成NER 3.NER标注体系二.基于pytoch和TensorFlow的深度学习算法NER实战 1.算法概览 2.算法实战 A.BiLstm+ ...
kaggle Quora Insincere Questions 总结
第三名: https://www.kaggle.com/wowfattie/3rd-place 用到了词向量的拼写检查: https://www.kaggle.com/cpmpml/spell-che ...
优化策略（三）正则化和BN方式
正则化: DropOut DropConnect DropPath Spatial DropOut DropBlock BN: Batch Normalization (BN) GN,BN和LN.Ad ...

SpatialDropout

SpatialDropout相关推荐

最新文章

热门文章