Pyramid Stereo Matching Network

参照文章:https://zhuanlan.zhihu.com/p/52641036

立体匹配这边左右视图提取特征的网络都是共享权重的。SPP模块可以从左下方看到，就是四个不同尺度的池化，再上采样串联起来，其实就是整合多尺度的信息。送到cost volume之前左右图的特征是（1,32,96,312）维度的（连着两个乘号会把中间的加粗…行吧），32是通道数，96*312是输入图像分辨率的1/4，1是batch size，后面的cost volume的1也是这个，就不管了。cost volume的维度是（1,64,48,96,312），64的前32个通道是左视图的，后32个通道是右视图的；48代表视差等级的维度，即视差为0-47px（设置最大视差为191px，后面会上采样）。贴一下形成cost volume这部分的代码，比如现在i=10，即cost volume的第三个维度视差为10px时，第二个维度的前32个通道取左图x轴上10以后的像素，后32个通道取右图x轴上去掉最后10像素的所有，其他地方都是0（截图没截出来）。

得到cost volume之后就是一大堆3D卷积（Stacked hourglass的结构比Basic效果好，反正谁复杂谁强呗…），可以看到右下方有bilinear和regression模块，就是将低分辨率、低视差等级的图插值为（D,H,W）维度的，然后用softmax作用于所有视差等级求出各个视差的概率，加权得到最终各个像素点的视差，即H*W的视差图。

整个论文就是给定两个不同视角left , right, 算出disparity map, 这样就可以根据stereo pair算出深度
怎么算? 见introduction

Pyramid Stereo Matching Network相关推荐

【论文简述及翻译】PSMNet：Pyramid Stereo Matching Network（CVPR 2018）
一.论文简述 1. 第一作者:Jia-Ren Chang 2. 发表年份:2018 3. 发表期刊:CVPR 4. 关键词:端到端训练.连接体.空间金字塔池化.堆叠沙漏的3D CNN.回归 5. 探索 ...
DSM: 域不变的立体匹配网络解析(Stereo Matching Networks)
作者| flow 编辑| 3D视觉开发者社区导语:本文是由来自牛津大学.百度研究院以及香港中文大学团队发表的论文,该团队提出了域不变的立体匹配网络方法,用于解决立体匹配网络中直接跨域泛化的问题.适合 ...
EdgeStereo: A Context Integrated Residual Pyramid Network for Stereo Matching
引:本文更关注context信息简化多阶段学习提升视差细节,首先,提出一阶段网络CP-RPN来做视差估计,接着,用多任务,EdgeStereo用mid-level特征来修复视差中丢失的细节.边缘检测与 ...
《AANet: Adaptive Aggregation Network for Efficient Stereo Matching》
代码 1. 研究问题当前最先进的立体匹配网络大多基于 3D 卷积,其计算复杂度和高内存消耗使得在实际应用中部署成本非常高. 2. 研究方法本文提出一种新型的端到端立体匹配网络AANet,具体来说, ...
论文笔记 - RAFT-Stereo: Multilevel Recurrent Field Transforms for Stereo Matching
这篇博客是对论文RAFT-Stereo: Multilevel Recurrent Field Transforms for Stereo Matching的阅读笔记. 论文地址位于paper,代码已 ...
立体匹配算法：《Cross-Scale Cost Aggregation for Stereo Matching》总结
在 http://www.cvpapers.com/cvpr2014.html上,搜索<Cross-Scale Cost Aggregation for Stereo Matching>找 ...
【PSPnet2017】Pyramid Scene Parsing Network
Pyramid Scene Parsing Network 金字塔式场景解析网络 arXiv:1612.01105v2 [cs.CV] 27 Apr 2017 文章地址:https://arxiv.o ...
场景解析--Pyramid Scene Parsing Network
Pyramid Scene Parsing Network CVPR2017 语义分割 https://github.com/hszhao/PSPNet 针对 FCN 中没有 context 信息,本 ...
Stereo Matching 立体匹配学习资料
Middlebury Stereo Evaluation Camera Calibration and 3D Reconstruction OpenCV学习笔记(18)双目测距与三维重建的OpenCV ...

Pyramid Stereo Matching Network

Pyramid Stereo Matching Network相关推荐

最新文章

热门文章