前言

L. Nie, C. Lin, K. Liao, M. Liu, and Y. Zhao, “A view-free image stitching network based on global homography,” Journal of Visual Communication and Image Representation, p. 102950, 2020.
本文提出了一种基于全局单应性的视角自由的图像拼接网络，简称VFISNet，
源码地址
算法框架如图所示：

主要包括三个阶段：

Homography Estimation
Structure Stitching
Content Revision

本文的主要贡献：

提出了一个视角自由的图像拼接网络
为了尽可能减轻伪影，设计了一个global correlation层和一个结构到内容逐渐拼接模块
构造了一个图像拼接合成数据集，图像之间的重叠区域更小

VFISNet

Homography estimation stage

单应性估计阶段就是基于先前的DHN方法，一个VGG风格的特征提取骨干网络。接着为了减小平均角点误差，提升单应性估计精度，从光流估计方法(PWC-Net、Flownet2等)得到启发，作者引入了一个Global Correlation层，然后接了三个卷积层和两个全连接层，输出是8个参数的fff，表示图像 I_B 相对于图像 I_A 四个顶点的偏移量。再通过DLT层计算出图像 I_B 变换到图像 I_A 的单应性矩阵H。

Structure stitching stage

结构拼接阶段是基于空间变换网络。对于I_A，使用单位矩阵，变换为I_AW；对于I_B，使用单应性估计阶段得到的H，变换为I_BW，I_AW和I_BW通过平均融合得到Structure Stitching Result。再将I_AW、I_BW、Structure Stitching Result连接得到一个9通道的图像。此时得到的是一个粗对齐拼接结果，因为单应性估计是从图像四个顶点的偏移量计算出，不会将每个像素对齐，一点预测误差就会导致整个拼接结果视觉上的模糊。

Content revision stage

内容修正阶段是一个UNet网络，输入是粗对齐拼接结果，输出是精确对齐拼接结果。

损失函数

对于单应性估计阶段，损失函数是预测偏移量和ground truth偏移量之间的MSE误差；
对于内容修正阶段，损失函数是预测拼接结果和ground truth label之间的L1误差，此外还加上了VGG19前4层提取特征图之间的L2误差。

数据集生成

如开头图所示
1.首先在COCO2014数据集的一张图片上随机裁剪出一个128×128的区域，如图中绿框所示，作为I_A；

2.接着在[-64, 64]范围内进行随机位移，得到图中蓝框；

3.然后在[-25, 25]范围内对图像四个顶点随机扰动，得到图中红框，红框相对于绿框四个顶点的偏移量就作为单应性估计阶段的ground truth偏移量，红框和绿框围成的像素内容作为内容修正阶段的Label；

4.将绿框到红框计算出的单应性矩阵逆变换应用到原图上，在蓝框位置处裁剪出I_B。
从而得到一组训练样本(I_A,I_B,f,Label)。

实验

训练：分两步，先训练Homography estimation stage，再训练后面Content revision stage。

评价：

与深度单应性估计方法比较
与现有拼接方法比较
消融实验

论文阅读笔记|A view-free image stitching network相关推荐

毫米波目标检测论文阅读笔记 | Radar Transformer: An Object Classification Network Based on 4D MMW Imaging Radar
毫米波目标检测论文 | Radar Transformer: An Object Classification Network Based on 4D MMW Imaging Radar Jie Ba ...
【论文阅读笔记|EMNLP2022】A Span-level Bidirectional Network for Aspect Sentiment Triplet Extraction
论文题目:A Span-level Bidirectional Network for Aspect Sentiment Triplet Extraction 论文来源:EMNLP2022 论文链接: ...
论文阅读笔记《PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes》
核心思想本文提出一种基于卷积神经网络的物体分割与位姿估计的方法(PoseCNN).如下图所示,输入图像经过卷积层特征提取之后,分成三个任务分支:语义分割.平移矩阵预测和旋转矩阵(四元数)预测.最 ...
论文阅读笔记：CcNet: A cross-connected convolutional network for segmenting retinal vessels using 多尺度特征
论文链接:CcNet: A cross-connected convolutional network for segmenting retinal vessels using multi-scale ...
【论文阅读笔记】Pyramid Real Image Denoising Network
论文简介本文是19年的论文,网络名为PRIDNet.代码地址为https://github.com/491506870/PRIDNet.在1080ti上,PRIDNet处理512x512图像需要 ...
论文阅读笔记《DPGN: Distribution Propagation Graph Network for Few-shot Learning》
小样本学习&元学习经典论文整理||持续更新核心思想本文提出一种基于图神经网络的小样本学习算法(DPGN).先前基于图神经网络的小样本算法通常将每个样本当作一个结点,然后通过结点之间的关 ...
DCP（Deep Closest Point）论文阅读笔记以及详析
DCP论文阅读笔记前言本文中图片仓库位于github,所以如果阅读的时候发现图片加载困难.建议挂个梯子. 作者博客:https://codefmeister.github.io/ 转载前请联系作者 ...
CVPR2019｜Depth-Aware Video Frame Interpolation【论文阅读笔记】
CVPR2019|Depth-Aware Video Frame Interpolation[论文阅读笔记] 作者相关链接 1.前言 2.介绍 3.算法 4.实验作者 Wenbo Bao, Wei ...
对抗训练-smart 论文阅读笔记
对抗训练-smart 论文阅读笔记 SMART: Robust and Efficient Fine-Tuning for Pre-trained NaturalLanguage Models thr ...
【SOD论文阅读笔记】Visual Saliency Transformer
[SOD论文阅读笔记]Visual Saliency Transformer 一.摘要 Motivation: Method: Experimental results 二.Introduction ...

论文阅读笔记|A view-free image stitching network

论文阅读笔记|A view-free image stitching network based on global homography

前言