PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume

2024-05-01 12:19:43

文章提出了一种用于光流估计的CNN模型，包括了三个部分：金字塔(Pyramid)，扭曲(Warping)，代价体积(Cost Volume)。每个画面有前后两个图，用第一个图的估计光流扭曲第二个图的CNN特征，将扭曲后的特征以及第一个图的特征构造一个代价体积，再来估计光流。

主要原理：

左边是传统的coarese-to-fine方法，右边是这篇文章提出的PWC网络。

第一幅图的光流扭曲第二幅图特征的公式。

第二幅图被扭曲的光流及第一幅图的光流计算代价体积的公式。

损失函数。

主要实验结果：

不同模型的效果对比。

评价指标：EPE(Endpoint Error)，是光流估计中标准的误差度量，是预测光流向量与真实光流向量的欧氏距离在所有像素上的均值。

虽然和别的模型相比PWC-Net的误差不是最小，但是在差别不大的情况下，明显提高了效率。我不是很清楚哪个要素更加关键，可能在自动驾驶领域计算时间是很重要的指标。

PWC-Net在训练集上的表现不如其他的，但是在测试集上明显要好很多。

在自动驾驶领域的数据集上表现还是不错的。

在前景、后景、全景和非遮挡像素、所有像素下的正确率对比。

是否启用三个模块的效果对比。

PWC-Net的效果展示。

PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume相关推荐

【论文简述及翻译】PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume（CVPR 2018）
一.论文简述 1. 第一作者:Deqing 2. 发表年份:2018 3. 发表期刊:CVPR 4. 关键词:光流估计.端到端训练.代价体.金字塔 5. 探索动机:大多数性能最好的方法都采用能量最小化 ...
【光流评估】《Optical Flow Estimation using a Spatial Pyramid Network》2016 Tubingen, Germany
摘要:我们通过结合深度学习和经典空间金字塔结构的方式来计算光流.通过使用每个金字塔级别的光流评估warp图像和更新光流,这种方法以一个粗到精的方式评估图像中的大运动.不同于在每个金字塔层级最小化对象函 ...
Python+OpenCV：Optical Flow（光流）
Python+OpenCV:Optical Flow(光流) 理论 Optical flow is the pattern of apparent motion of image objects be ...
论文阅读：Fast Optical Flow using Dense Inverse Search
文章目录 1. 论文总述 2021_09_14补充: 2. 光流鲁棒性遇到的挑战 3. 保持精度的同时提高速度的一些方法 4. Fast inverse search for corresponden ...
【论文简述及翻译】FlowNet: Learning Optical Flow with Convolutional Networks（ICCV 2015）
一.论文简述 1. 第一作者:Alexey Dosovitskiy等 2. 发表年份:2015 3. 发表期刊:ICCV 4. 关键词:光流估计.端到端训练.CNNs.数据集 5. 探索动机:卷积神经 ...
论文阅读：FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks
文章目录 1. 论文总述 2. 利用CNN预测光流的另一种思路 3. 通过堆叠网络来进行光流估计优化的idea来源 4. FlyingThings3D (Things3D) dataset 5. Th ...
Occlusions, Motion and Depth Boundaries with a Generic Network for Disparity, Optical Flow or Scene
首先看效果:(需要下载...120Mb) Occlusions, Motion and Depth Boundaries with a Generic Network for Disparity, O ...
光流（optical flow）基础概念以及典型算法
光流(optical flow)基础概念以及典型算法文章目录光流(optical flow)基础概念以及典型算法什么是光流? 一.传统经典光流算法: Lucas-Kanade 二.基于神经网络的 ...
论文阅读：RAFT: Recurrent All-Pairs Field Transforms for Optical Flow
文章目录 1. 论文总述 2. RAFT结构被传统算法所启发 3. RAFT的三个重大创新点 4. 光流算法需要解决的难点 5. 传统光流算法简介及缺点 6. Fast DIS 有可能存在的问题 7. ...

最新文章

热门文章