论文地址: https://people.csail.mit.edu/celiu/SIFTflow/

SIFT Flow

SIFT Flow 结合了 SIFT 与 Optical flow，实现了一种在两幅图像间像素到像素的稠密匹配方法。

SIFT Flow 构成

SIFT 是在空间极值点提取特征。那么对于稠密特征 SIFT Flow ，它同样也是对于某个像素的邻域 (如16x16邻域) 分成4x4个cell，将每一个cell 的梯度方向映射到 8 个方向，形成 8 维向量。其区别是，SIFT Flow 对每一个像素都进行特征提取。那么对应一个像素即有 4x4x8 = 128 维向量。

文中将 128 维向量用 PCA 降维到三维，再映射到RGB空间，得到了如下所示的图像。

目标函数

w( p ) 为原始图像与目标图像匹配像素之间的坐标距离。w( p ) = (u( p ), v( p )) = (x - x’ , y - y’)。
(1) 限制匹配点的特征向量距离。
(2) 限制匹配点的坐标距离，使其尽可能在空间上接近。
(3) 限制 p 邻域中的 q 匹配像素与 p 的匹配像素接近，使目标图像平滑。

优化

文中采用Dual-layer loopy belief propagation，其中 Dual-layer belief propagation 如下图所示。

SIFT Flow 笔记相关推荐

【Git】GitHub flow笔记 | GitHub flow和Git flow的区别
GitHub flow 特点轻量级分支作为基础创建分支基于master 命名是基于功能描述,让团队成员看到你的分支的作用提交清晰的说明提交消息,方便查看和回滚使用Pull Request ...
全卷积神经网络（FCN）论文笔记
全卷积神经网络(FCN)论文笔记 Fully Convolutional Networks for Semantic Segmentation Abstract 卷积网络是一种功能强大的视觉模型,可以 ...
Deep Learning（深度学习）学习笔记整理系列
一.概述 Artificial Intelligence,也就是人工智能,就像长生不老和星际漫游一样,是人类最美好的梦想之一.虽然计算机技术已经取得了长足的进步,但是到目前为止,还没有一台电脑能产生& ...
Panoptic Segmentation论文笔记
个人博客:http://www.chenjianqu.com/ 原文链接:http://www.chenjianqu.com/show-113.html 论文:Alexander Kirillov,K ...
最详细的FCN论文笔记
个人博客:http://www.chenjianqu.com/ 原文链接:http://www.chenjianqu.com/show-81.html 文:Jonathan Long,Evan She ...
学习笔记：图像分割之深度学习场景分割(2015开始)综述之前是手工特征
文献:基于深度学习的场景分割算法研究综述场景分割:场景图像指面向某个空间的图像,通常具有一定的透视形变,且其中包含的视觉要素数量较多. 文章目录算法性能对比图难点:分割细粒度高.尺度变化多.空间 ...
【论文笔记】FCN：Fully Convolutional Networks for Semantic Segmentation
<Fully Convolutional Networks for Semantic Segmentation>,CVPR 2015 文章目录 1. 概览 2. 主要亮点 2.1 全卷积化 ...
基于深度学习的特征提取、匹配全解析
选自丨计算机视觉life 计算机视觉需要图像预处理,比如特征提取,包括特征点,边缘和轮廓之类.以前做跟踪和3-D重建,首先就得提取特征.特征点以前成功的就是SIFT/SURF/FAST之类,现在完全可 ...
FCN:Fully Convolutional Networks for Semantic Segmentation
文章目录前言一.文章翻译 1. 引言 2. 相关工作 3. 全卷积网络 3.1 调整分类器以进行密集预测 3.2 Shift-and-stitch 是过滤稀疏 3.3 上采样是向后步进的卷积 3. ...

SIFT Flow 笔记

SIFT Flow

SIFT Flow 构成

目标函数

优化

SIFT Flow 笔记相关推荐

最新文章

热门文章