GLU-Net代码的理解

以源码GLUNet.py为例

1使用self.pyramin来提取图像的金字塔特征，这里使用的是VGG网络。

第一部分是在原图feature上进行金字塔特征提取，分别取原图8倍下采样率，4倍下采样率对应的feature。对应GLU-Net网络的左边部分。第二部分是把原图固定到256分辨率后分别取16分辨率和32分辨率尺度下的feature。

2使用的金字塔特征提取网络-VGG

第一步分用于提取图片的四个尺度的特征，1，1/2, 1/4, 1/8。这个特征特征x_quarter和x_eight用于GLU-Net中的H-Net。是根据VGG网络的层的结构名字来取的。

第二部分同理用于L-Net部分。

torch.nn.functional.interpolate是上采样插值方式，这里0.5是把feature采样到原来0.5倍。

3在固定分辨率（256）的16feature level上进行全局的相关性预估的到flow4。

之后反卷积为1 2 32 32 大小的flow。这里的channel = 2 表示每个像素点在X方向和Y方向预估的displacement变换的数值。

3.1

---

coarsest_resolution_flow

---

self.corr 使用余弦相似度计算连个feature的相关度，MutualMatching中是把coorr4d是在X，Y两个方向上进行优化。得到最后的全局相关corr4。

把corrt输入到Mtop玩了中（一个解码作用的网络）得到预测的 2D dense correspondence map。

之后再得到flow4。

3.2反卷积到32分辨率尺度上

4 level 32

c23是对应32分辨率的feature，我们使用使用这个尺度对应的flow即up_flow_4_warping来对其进行变换得到warp3。

之后使用FunctionCorrlation来计算c13 和 warp3的局部相关性得到corr3。

warp操作对应黑色六边形。

计算局部相关性是浅绿色块。

讲上面计算的up_flow4与corr3进行concat操作。

输出解码网络decoder3 得到预测的flow：res_flow3 和提取后的特征 x3。

flow3 等于res_flow3 与 up_flow4 的相加。

---

RefineNet

将解码网络提取出来的特征x3 放入RefineNet （精修网络）进一步优化特征预测一个flow 与 flow3叠加。

这个网络作用就是精修进一步提高精度。

这里有两个shortcut操作，这部分得到flow3 对应途中w2。

之后w2线性上采样插值到原图1/8 的feature level 进行与之前类似操作。整个网络最后放回flow1 然后对原图（img_source）进行变换就得到最终变换后的图片。

GLU-Net代码的理解相关推荐

python 协程 php,python3.x,协程_python协程练习部分代码的理解？，python3.x,协程,asyncio - phpStudy...
python协程练习部分代码的理解? import asyncio import threading async def wget(host): print('wget {}'.format(host ...
cesium 根据SampledPositionProperty与timeline实现轨迹回放功能（跟随视角、上帝视角）详细代码与理解记录
cesium 根据SampledPositionProperty与timeline实现轨迹回放功能(跟随视角.上帝视角) 详细代码与理解,文末附完整代码最终类似效果展示大致原理摘要引用出处这个 ...
【3D detection】CT3D部分代码的理解
[3D detection]CT3D部分代码的理解获得box的八个角点坐标在无限高的圆柱中随机采样 Embedding和Encoding paper: Improving 3D Object De ...
Swin Transformer原文及其代码的理解
Swin Transformer原文及其代码的理解第一版更好的排版笔记:Notion 名词解释基础知识: 搞懂Vision Transformer 原理和代码,看这篇技术综述就够了(三) tok ...
在python中对于函数定义代码的理解正确的理解是_Python 5 函数
一.判断题(共10小题,10分) 在Python中,自定义函数的关键字是def.(1分) A.对 B.错参考答案: A 形参可以看做是函数内部的局部变量,函数运行结束之后形参就不可访问了.(1分) ...
【嵌入式】工程模板的编写以及工程代码的理解
[嵌入式]工程模板的编写以及工程代码的理解 21/100 保存草稿发布文章 weixin_52621323 未选择文件文章目录 1)前言 2)STM32工程模板(基于标准库) -- 野火版本 2. ...
Visual Studio 2022版本 B站黑马程序员C++自学分享－第一阶段（主要包括：自己敲的代码、通过注释来备注上自己对代码的理解）
Visual Studio 2022版本 B站黑马程序员C++自学分享-第一阶段(主要包括:自己敲的代码.通过注释来备注上自己对代码的理解) 前言一.第一阶段 C++基础语法入门对C++有初步了解 ...
Visual Studio 2022版本 B站黑马程序员C++自学分享－第三阶段（1）（主要包括：自己敲的代码、通过注释来备注上自己对代码的理解）
Visual Studio 2022版本 B站黑马程序员C++自学分享-第三阶段(1)(主要包括:自己敲的代码.通过注释来备注上自己对代码的理解) 前言三.第三阶段 C++提高编程介绍C++泛型编 ...
李沐动手学深度学习：08 线性回归（代码逐行理解）
目录一.相关资料连接 1.1 李沐视频 1.2 代码.PPT 二.代码及笔记(使用Jupyter Notebook) 2.1 线性回归从零开始实现 2.1.1 基本概念 2.1.2 基础优化算法 2 ...
java 七大设计原则之依赖倒置,里氏替换原则(文字代码相结合理解)
java 七大设计原则之依赖倒置,里氏替换原则,文字代码相结合理解七大设计原则有哪些? 为什么要使用七大设计原则? 依赖倒置原则里氏替换原则喜欢就争取,得到就珍惜,错过就忘记.人生也许不尽完美, ...

GLU-Net代码的理解

GLU-Net代码的理解相关推荐

最新文章

热门文章