多视角立体（MVS）相关文章总结

文章目录

多视角立体（MVS）相关文章总结
前言
1.MVSNet: Depth Inference for Unstructured Multi-view Stereo[ECCV2018]
2.Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching[CVPR2020]
3.PatchmatchNet: Learned Multi-View Patchmatch Stereo[CVPR2021 Oral]

前言

作者：cxy
邮箱：1023499614@qq.com
根据本人的学习情况，持续更新~

1.MVSNet: Depth Inference for Unstructured Multi-view Stereo[ECCV2018]

文章链接: https://arxiv.org/pdf/1804.02505.pdf
pytorch代码:https://github.com/xy-guo/MVSNet_pytorch

MVS系列的开山鼻祖，输入为N张Source Image（后用sou)和1张Reference Image(后用Ref)来推断ref的深度图，即ref每个点与相机光心的距离值。
先利用ResNet（共享权重）提取每张图像（N+1张）的特征。
划分Z个预设深度值，假设ref上的每个像素点都处于同一个深度值，因此将ref前的空间划分为了Z个平面。然后利用每张相片的相机参数根据单应性变换将N+1张图片上每个点的特征（H,W维度）基于不同预设深度值（Z维度）warp到ref对应的位置上，对于任一深度预设值d，使得ref图像上的一个点和其他每张sou上的一个点产生了联系。对这N个点的特征计算方差得到了ref上这个点在深度d的差异性，由此我们得到了Cost Volume（后用cost)
后面对cost经过U-Net来完成正则化操作（对cost做平滑），输出一个probability volume，表示每个点在各个不同深度的概率值，这也对后面判断这个点的深度估计置信提供了依据。沿着Z维度回归得到初始的深度图。
作者认为前面的U-Net正则化，使得边界过于平滑了，因此将原图像的RGB通道concate到初始深度图上经过一些2D卷积使得边界更尖锐，最后加上原始深度图的响应，得到了最终的深度图。

2.Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching[CVPR2020]

文章链接: https://arxiv.org/pdf/1912.06378.pdf
pytorch代码:https://github.com/alibaba/cascade-stereo

本文与MVS-Net不同之处主要有二：
1.提取多张图像特征时，采用了FPN，提取多个尺度的特征
2.第一阶段先采用最小尺寸的特征生成cost volume再做正则化（和MVSNet一摸一样），第二阶段利用较高尺寸的特征，此处利用上一个阶段得到的深度图上采样获得每个点的初始深度，在初始深度的基础上精细划分预设深度（Cascade体现的淋漓尽致），得到cost volume以后如MVS-Net一摸一样，此处不再赘述。
和MVSNet相比是又快又好啊。。。

3.PatchmatchNet: Learned Multi-View Patchmatch Stereo[CVPR2021 Oral]

文章链接: https://arxiv.org/pdf/2012.01411.pdf
pytorch代码:https://github.com/FangjinhuaWang/PatchmatchNet

利用cascade层级化思想，并且每一个stage会额外迭代一次，每个点的预设深度考虑为这个点的周围点的深度（从上一步的深度图得到）（此处运用可变形卷积考虑边界不连续性），在patchmatch的模块当中将c通道特征分为G个group两两（一张source，一张reference）计算相似性，最后结合N个相似性张量得到cost volume，在cost volumn正则化的时候再次利用可变形卷积考虑边界不连续性，每个点的代价应当对周围几个点的cost做一个加权，最后回归得到深度图。

# 总结

MVS文章持续更新中~相关推荐

微信小程序-仿淘宝(附真机测试图)（持续更新中。。。）
醉前端微信小程序已开始公测, 醉前端的开发热情依然不减... 这是仿手机淘宝做的微信小程序,目的在于享受开发,学习小程序,欢迎大家批评指正. demo资源地址:demo gihub传送门 tip: ...
linux运维常用命令一句话（持续更新中）
整理收集一些Linux运维管理.系统管理的常用命令,太多了记不住,只能记录下来方便日后查看.也可以和大家分享.如果你有好的一句话命令也贴出来吧.本文持续更新中. 1.linux启动过程开启电源 -- ...
【STM32-V7】STM32H743XIH6开发板，丰富软件资源，强劲硬件配置，大量软件解决方案持续更新中（2020-07-22）
[STM32-V7]STM32H743XIH6开发板,丰富软件资源,强劲硬件配置,大量软件解决方案持续更新中(2020-07-22) 参考文章: (1)[STM32-V7]STM32H743XIH6开 ...
leetcode贪心算法题集锦（持续更新中）
leetcode贪心算法题集锦 leetcode贪心算法题集锦(持续更新中).python 和C++编写. 文章目录 leetcode贪心算法题集锦一.贪心算法 1.盛最多水的容器 2.买股票的最佳 ...
webpack1.x环境配置与打包基础【附带各种 “坑“ 与解决方案！持续更新中...】
webpack1.x环境配置与打包基础[附带各种 "坑" 与解决方案!持续更新中...] 参考文章: (1)webpack1.x环境配置与打包基础[附带各种 "坑&quo ...
清华2021计算机学院复试,清华大学2021年硕士研究生复试名单汇总（持续更新中）...
清华大学2021年硕士研究生复试名单汇总已出来,下面金程考研小编整理了:清华大学2021年硕士研究生复试名单汇总 (持续更新中),希望对同学有帮助~ 加小助手微信(备注网校)jckyyxm领取历年考研 ...
本专栏所有力扣题目的目录链接, 刷算法题目的顺序(由易到难/面试频率)/注意点/技巧, 以及思维导图源文件问题(持续更新中)
这篇文章为本专栏所有力扣题目提供目录链接, 更加方便读者根据题型或面试频率进行阅读, 此外也会介绍我在刷题过程中总结的刷算法题目的顺序/注意点/技巧, 最后说下文中出现的思维导图源文件的问题和打卡 ...
开源工业缺陷数据集汇总，持续更新中（已更新28个）
欢迎大家关注我的公众号:一刻AI 本文目前汇总了常见的28个开源工业缺陷数据集,持续更新中 (欢迎大家留言补充,共同建设一个为大家提供便利的文章) 东北大学热轧带钢表面缺陷数据集官方链接:Visio ...
沉睡者 - 网赚创业VIP项目课程-持续更新中...
沉睡者 - 网赚创业VIP项目课程-持续更新中... 不管在线下还是线上,都尽量只做有积累可持续的项目,否则就容易进入到一个找项目做项目死项目之后,不断重复找项目,不断重复做苦力没有发展的死循环. 在 ...

MVS文章持续更新中~