1 3D卷积

首先看一下二维卷积，一个3*3的卷积核，在单通道图像上进行卷积，得到输出。

然后我们再看一下3维卷积，一个3*3*3的卷积核在立方体上进行卷积，得到输出。

就是这样，没什么其他花样了。

可能有人会问，这跟多通道卷积有什么区别呢？

有。

多通道卷积不同的通道上的卷积核的参数是不同的，而3D卷积则由于卷积核本身是3D的，所以这个由于“深度”造成的看似不同通道上用的就是同一个卷积，权重共享嘛。

总之，多了一个深度通道，这个深度可能是视频上的连续帧，也可能是立体图像中的不同切片。

2 3D卷积的应用

上面也说了，3D卷积就是多了一个深度通道，而这个深度通道可能是视频上的连续帧，也可能是立体图像中的不同切片，所以从应用上来说，主要就是两大主要方向。

2.1 视频分类

相比于2D图像，什么数据多了一个维度呢？当然就是视频了，视频的帧数，就是完美的另一个深度维度，将3D卷积用于视频的分类，再自然不过，关键就是看谁先来干。

据我所知，文【1】是最早的，看看他们使用的网络结构。

网络很浅，只有3个卷积层和1个全连接层，2个池化层，这样的网络规模和LeNet5可以称兄道弟了。不过3D多了一个维度，计算量自然是多了很多。

这里有两个3D卷积层，卷积核大小分别是7x7x3，7x6x3，前两维是空间的卷积，后一维是时间的卷积，看得出来，不需要保持一致，而且通常空间的卷积核大小和时间就不会一致，毕竟处理的“分辨率”不同。

这个网络结构在视频分类数据集UCF-101上的top-1精度为63.3%，别看这个指标不高，其他的比如LSTM，双流网络等也差不太多，而普通的2D卷积或者传统方法则要低于这个指标。

更细致的三维卷积在视频分类中应用的网络结构的探索在文【2】中，感兴趣读者可以自取。

2.2 图像分割

既然可以用于分类，自然也可以用于分割。不过对视频使用3D卷积似乎优势并不大，而在医学领域的应用前景更大一些。

医学数据通常都是3D的，比如CT扫描的数据，虽然我们看的片子是2D的，但其实那只是一个切片，真正的扫描数据是3D的。

而如果要分割出一些病变组织，比如肿瘤，也必须是3D的。

具体的网络结构就是将U-Net改为3D的形式。

就讲这么多，未完待续。

【1】Ji S, Xu W, Yang M, et al. 3D convolutional neural networks for human action recognition[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(1): 221-231.

【2】Tran D, Bourdev L, Fergus R, et al. Learning spatiotemporal features with 3d convolutional networks[C]//Proceedings of the IEEE international conference on computer vision. 2015: 4489-4497.

【3】Casamitjana A, Puch S, Aduriz A, et al. 3D Convolutional Neural Networks for Brain Tumor Segmentation: a comparison of multi-resolution architectures[C]//International Workshop on Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. Springer, Cham, 2016: 150-161.

「模型解读」从2D卷积到3D卷积，都有什么不一样相关推荐

「模型解读」深度学习网络只能有一个输入吗
https://www.toutiao.com/a6711317479001424395/ 平常我们所见的深度学习模型,都是输入一个图像或者视频序列,输出分类,分割,目标检测等结果,但是还有一种模型需 ...
「模型解读」“不正经”的卷积神经网络
https://www.toutiao.com/a6709293693758620172/ 1 卷积中的不变性图像任务,都需要识别出图像中的主体,用于分类,检测,分割,比如下面的验证码识别. 但是同 ...
「模型解读」浅析RNN到LSTM
https://www.toutiao.com/a6711704602531594764/ 卷积神经网络使用固定大小的矩阵作为输入(比如一张图片),然后输出一个固定大小的向量(比如不同分类的概率),适 ...
「模型解读」GoogLeNet中的inception结构，你看懂了吗
https://www.toutiao.com/a6706860769624982020/ 1 Inception V1[1] GoogLeNet首次出现在2014年ILSVRC 比赛中获得冠军.这次 ...
全局稳定性收敛平衡点为0吗_「模型解读」GoogLeNet中的inception结构，你看懂了吗...
作者 | 李健(微信号:lijian05170517) 编辑 | 言有三 1 Inception V1[1] GoogLeNet首次出现在2014年ILSVRC 比赛中获得冠军.这次的版本通常称其为I ...
「模型解读」从“局部连接”回到“全连接”的神经网络
https://www.toutiao.com/a6710967708617277960/ 作者 | 言有三(微信号:Longlongtogo) 编辑 | 言有三与全连接神经网络相比,卷积神经网络在 ...
「模型解读」resnet中的残差连接，你确定真的看懂了？
https://www.toutiao.com/a6708715626782786061/ 1 残差连接想必做深度学习的都知道skip connect,也就是残差连接,那什么是skip connec ...
谷歌「模型汤」靠微调屠了ImageNet的榜！方法竟然只有半页纸
视学算法报道编辑:LRS 好困 [新智元导读]ImageNet排行榜又双叒叕被刷新啦!不过这回,新霸主谷歌没有提出新模型,只靠微调「几个」模型就做到了第一,论文通篇都是实验分析,这也引起了网 ...
一文教你搞懂2D卷积和3D卷积
前言本人最近在搞毕设时发现自己一直会搞混2D卷积和3D卷积,于是在网上查阅了大量资料,终于明白了其中的原理.希望刷到这篇博客的小伙伴能够停下来静心阅读10分钟,相信你读完之后一定会有所收获. ...

「模型解读」从2D卷积到3D卷积，都有什么不一样

1 3D卷积

2 3D卷积的应用

「模型解读」从2D卷积到3D卷积，都有什么不一样相关推荐

最新文章

热门文章