LK光流对两张图配准

从构建非线性目标函数的角度出发，光流三大假设，分别是亮度一致性，时域一致性和空域一致性

其中，亮度一致性构建了光流方程，时域一致性构建超定方程求解方式，而空域一致性，就是所谓的两帧之间运动微小假设，则引出了泰勒公式+梯度下降的方式(牛顿高斯迭代法)来求解非线性目标函数。

根据目标函数求导，推导可得：

光流算法，输入是ref帧图像的特征点坐标；输出是tar帧图像的特征点坐标。在此处还需要设置一些额外的参数，如滑动窗口的大小(win_size)，迭代次数(max_iter)

import numpy as np
from menpo import image as mpimg
from menpo.shape import PointDirectedGraph
from menpofit.lk import LucasKanadeFitter, GradientCorrelation, GradientImages, ECC, SSD
from menpofit.transform import DifferentiableAlignmentSimilarity, DifferentiableAlignmentAffine
from matplotlib.patches import Polygon
import pylab as plt
import cv2
from PIL import Image
import os.path as osp
import os
from tqdm import tqdm
from skimage.registration import optical_flow_tvl1, optical_flow_ilk
from skimage.transform import warpdef menpofit_lk(moving_img, fixed_img, init_bbox, scales=[1/16, 1/8, 1/4, 1/2, 1], tform_tp='similarity', residual_cls=SSD):np_init_bbox_yx = np.array(init_bbox)[:, ::-1]np_moving_img = np.array(Image.open(moving_img).convert('L')).astype('f4') / 255.0np_fixed_img = np.array(Image.open(fixed_img).convert('L').convert('L')).astype('f4') / 255.0moving_img = mpimg.Image(np_moving_img[None])fixed_img = mpimg.Image(np_fixed_img[None])h, w = moving_img.shapebbox_edges = [[0,1], [1,2], [2,3], [3,0]]moving_img.landmarks['bounding_box'] = PointDirectedGraph.init_from_edges(points=np.array([[0, 0],[h-1, 0],[h-1, w-1],[0, w-1],]),edges=bbox_edges)init_bb = PointDirectedGraph.init_from_edges(points=np_init_bbox_yx,edges=bbox_edges)if tform_tp == 'similarity':transform = DifferentiableAlignmentSimilarityelse:transform = DifferentiableAlignmentAffinefitter = LucasKanadeFitter(moving_img, scales=scales, residual_cls=residual_cls, transform=transform)fr = fitter.fit_from_bb(fixed_img, init_bb)refined_bbox = fr.final_shape.points[:, ::-1]return refined_bboxif __name__ == '__main__':init_bbox = [[0,628],[628,628],[628,0],[0,0]]### test_aug_to_temp就是test_aug图片地址对应的temp图片地址for test_aug in test_aug_to_temp:temp_path = test_aug_to_temp[test_aug]refined_bbox = menpofit_lk(test_aug, temp_path, init_bbox, scales=[1/16, 1/8, 1/4, 1/2, 1], tform_tp='similarity', residual_cls=SSD)ransacReprojThreshold = 4H, status =cv2.findHomography(np.array(refined_bbox),np.array(init_bbox),cv2.RANSAC,ransacReprojThreshold);print(H)

LK光流对两张图配准相关推荐

OpenCV学习笔记——判断两张图的相似度
判断两张图的相似度方法直方图对比法 ORB算法实验 1.直方图对比法参考如何使用OpenCV3直方图方法进行人脸相似度对比因为我的环境是VS2010+OpenCV2.4.8,所以在原版的基础 ...
Python笔记-使用SSIM找两张图不同及使用Opencv显示
运行截图如下: 这里有几点要注意的: ①对比两张图片的函数SSIM具体是structural_similarity: Ⅰ:第一个参数和第二个参数是要对比的两张图片: Ⅱ:参数中有个full,默认为Tr ...
Android 应用性能优化（5）---用两张图告诉你，为什么你的App会卡顿?
用两张图告诉你,为什么你的App会卡顿? Cover 有什么料? 从这篇文章中你能获得这些料: 知道setContentView()之后发生了什么? 知道Android究竟是如何在屏幕上显示我们期望的 ...
MATLAB代码：合并两张图
MATLAB 合并两张图,要求大小相同的图,我这里合并两张相同的图. image = imread('docia_one.png') %读取图片 c = [image, image] %图像拼接到矩阵 ...
两张图搞定IJK源码
IJK源码两张图就可以搞定,一张是IJK从播放到停止的代码流程图,一张是IJK的线程模型图
python把两张图不同之处差异显示出来
把两张图不同之处差异显示出来原讨论帖, https://bbs.csdn.net/topics/396114473 最后找到了帖子的原帖, https://www.cnblogs.com/botoo ...
Origin使两张图重叠展示在一张图上
目录 1.先将两张图的坐标轴修改为相同. 2.删去其中一个图的图例.坐标轴等,仅保留曲线.左轴和下轴的刻度线标签.轴线和刻度线均把显示关闭.并用Delete删去坐标轴名称. 3.选中图形,Ctrl+C ...
LaTeX两张图并排显示
一.需要引入的包 \usepackage{caption} % 图片脚注 \usepackage{graphicx} \usepackage{caption} \usepackage{subfigur ...
LATEX——两张图并列排列/双栏模板中图片通栏并列布局
LATEX--两张图并列排列/双栏模板中图片通栏并列布局正常插入图片并列插入两张图片双栏模板中图片通栏并列布局1(不同图片使用不同标题,不同编号) 双栏模板中图片通栏并列布局2(不同图片使有不同 ...

LK光流对两张图配准

LK光流对两张图配准相关推荐

最新文章

热门文章