3D卷积“LP-3DCNN: Unveiling Local Phase in 3D Convolutional Neural Networks”

2024-04-07 14:29:39

LP-3DCNN: Unveiling Local Phase in 3D Convolutional Neural Networks

3D卷积计算量大，消耗内存多，论文提出了修正的局部相量（ReLPV）模块替换标准的3D卷积，在3D局部邻域（3×3×3）内提取输入特征图每个位置的相，获取特征图。这个相是通过计算每个位置3D局部邻域内多个固定的低频点的3D短时傅里叶变换（STFT），不同频域点的特征图线性组合输入激活函数。滤波器尺寸大小从3×3×3到13×13×13变化，ReLPV的参数量降低了到倍，相比于标准的3D卷积，ReLPV的效果更好。

3D卷积的几个问题：（1）计算量大，（2）模型尺寸大，（3）易过拟合，（4）特征学习能力有待进一步提升。

方法介绍

定义3D CNN网络的特征图为，其中h,w,d和c分别为特征图的宽、高、深及通道数目。

ReLPV模块是3D卷积层的替换表示，有四层结构，下图显示了ReLPV的结构：

Layer 1. 第一层是标准3D卷积层，拥有单个滤波器，尺寸为1×1×1。输入特征图尺寸为，输出fx为单通道的特征图，尺寸为，x是表示特征图位置的变量。

Layer 2. 局部相位曾被用来检测边缘和轮廓，相位表示不同空间频率的局部相干。Layer 2通过在的每个位置的邻域内计算3D 短时傅里叶变换：

（1）

其中是频域变量，。公式（1）的向量表示为：

Fv,x=wvTfx （2）

其中wv是3D STFT在频率v处的基向量，是包含邻域内所有位置的向量。3DSTFT可以对每个维度进行简单的1D卷积实现。考虑13个最小的非零频率向量，如图2中的红点所示，低频变量包含了大多数的信息，相比高频分量具有更高的信噪比。

令。W是对应13个频域变量的的变换矩阵，R及S对应复数的实部和虚部，（2）式可以写为：

Fx=Wfx

Fx对所有的位置x计算，输出特征图尺寸为。

Layer 3. 使用ReLU函数，对Layer2的特征进行激活。

Layer 4. 标准的3D卷积层，滤波器尺寸为尺寸为1×1×1。输入特征图尺寸为，输出特征图，尺寸为。

以下使用ReLPV(n,f)表示ReLPV块，其中n为Layer 2的邻域尺寸，f为Layer 4中的输出通道数。

STFT的特点：（1）自然图像中的物体包含尖锐的边缘特征是，傅里叶域的信息准确的表示了这些边缘信息。3D空间中的STFT是窗口傅里叶变换，局部相有捕获局部特征的能力。STFT去除了特征的相关性，这是一种较好的正则化方法，这样的3D CNN不易过拟合，且泛化性能更好。

ReLPV块的前向、后向传播

Layer 2的后向传播，没有可训练的参数，训练中，只有Layer 1和4的1×1×1滤波器更新，W中的权重不变。

ReLPV块的参数分析

标准3D卷积层的可训练参数量为，ReLPV块的可训练参数量为，如果f=27，降低的参数量分别为27倍、125倍、343倍、1331倍、2197倍。

论文提出的LP-3DCNN网络：多个ReLPV的串联及ResNet中的skip-layer。

实验结果

3D卷积“LP-3DCNN: Unveiling Local Phase in 3D Convolutional Neural Networks”相关推荐

62_LP-3DCNN: Unveiling Local Phase in 3D Convolutional Neural Networks 2019 论文笔记
LP-3DCNN: Unveiling Local Phase in 3D Convolutional Neural Networks 三维卷积神经网络局部相位的揭示目录 LP-3DCNN: Unv ...
卷积神经网络图像纹理合成 Texture Synthesis Using Convolutional Neural Networks
卷积神经网络的图像纹理合成 TextureSynthesis Using Convolutional Neural Networks Taylor Guo, 2017年4月29日星期六摘要本文介 ...
论文翻译：LP-3DCNN: Unveiling Local Phase in 3D Convolutional Neural Networks
引言传统的3D卷积神经网络(CNN)计算成本高,内存密集,容易过度拟合,最重要的是,需要改进其特征学习能力.为了解决这些问题,我们提出了整流局部相位体积(ReLPV)模块,它是标准3D卷积层的有效替 ...
读《Fusion of Partition Local Binary Patterns and Convolutional Neural Networks for Dorsal Hand Vein 》
2021 摘要虽然深度学习算法在生物识别方面具有突出的表现,并受到越来越多的关注,但其triditional特征(?)不应被忽视. 本文研究了三种方案中**划分局部二值模式(PLBP)**和卷积神经 ...
Local Binary Convolutional Neural Networks ---卷积深度网络移植到嵌入式设备上？
前言:今天他给大家带来一篇发表在CVPR 2017上的文章. 原文:LBCNN 原文代码:https://github.com/juefeix/lbcnn.torch 本文主要内容:把局部二值与卷积神 ...
【步态识别】多视角3D卷积网络的步态识别算法学习《MULTI-VIEW GAIT RECOGNITION USING 3D CONVOLUTIONAL NEURAL NETWORKS》
目录 1. 论文&代码源 2. 论文亮点 3. 模型结构 3.1 技术路线 3.2 数据预处理 3.3 训练和测试 4.实验结果 4.1 CMU 4.2 USF 4.3 CAISA-B 5.总 ...
Convolutional Neural Networks for Sentence Classification(卷积神经网络句子分类）
目录摘要原文翻译单词解释技术解读引言原文翻译单词解释技术解读原文翻译单词解释技术解读原文翻译单词解释技术解读原文翻译单词解释技术解读. Model 原文单 ...
详译：RESIDUAL AND PLAIN CONVOLUTIONAL NEURAL NETWORKS FOR 3D BRAIN MRICLASSIFICATION
论文题目:RESIDUAL AND PLAIN CONVOLUTIONAL NEURAL NETWORKS FOR 3D BRAIN MRI CLASSIFICATION 三维脑MRI分类的残差和平 ...
论文阅读：Multi-view Convolutional Neural Networks for 3D Shape Recognition
Preface 今天阅读一篇ICCV2015的论文:<Multi-view Convolutional Neural Networks for 3D Shape Recognition>, ...

最新文章

热门文章