基于深度学习的2D和3D仿射变换配准
点击上方“计算机视觉工坊”,选择“星标”
干货第一时间送达
作者:Sarath Chandra
编译:ronghuaiyang
导读
将配准从2D场景扩展到3D场景。
上周我开发了一个基于深度学习的2D可变形图像配准的基本框架,并演示了如何从MNIST数据集中配准手写数字图像。除了损失函数和架构上的细微差别外,该框架本质上与VoxelMorph框架相同。
本周,我的任务是将该实现扩展到3D,并在一个包含150个T1-weighted扫描的小数据集上进行试验。通过对现有代码进行一些细微的更改,我能够实现原始的VoxelMorph模型。我使用一个扫描作为静态图像,其余的作为移动图像(125用于训练,25用于测试)。
样本输出
配准效果不佳的原因是这些volumes没有去掉头骨。会议上有人向我指出,脑提取是配准的一个重要预处理步骤,即去除颅骨和眼睛等非脑组织。
基于深度学习的仿射配准
我想看看像刚性变换和仿射变换这样的简单变换是否有效。所以我很快修改了代码来做无监督的2D仿射配准。这个想法是空间变压器网络的一个简单推论。
2D仿射变换配准的Colab notebook:https://colab.research.google.com/drive/1drp2ny2t-nxddkt4pezn6mtjehnfccw
方法
卷积神经网络以移动图像和静态图像为输入,计算使移动图像弯曲和对齐到静态图像所需的仿射变换参数。在二维配准的情况下,这些参数有6个,控制旋转、缩放、平移和剪切。
训练卷积神经网络输出两幅输入图像之间的仿射变换参数T,空间变压器网络利用这些参数对运动图像进行变换。
空间变压器block取仿射参数和运动图像,执行两项任务:
计算采样网格
使用采样网格重新采样移动图像
在规则网格上应用仿射变换得到新的采样网格,即运动图像的采样点集。将输出中的每个位置映射到输入中的一个位置,使用如下公式:
由于新的采样位置可以是非积分的,双线性插值用于可微的采样,并允许梯度流回卷积神经网络,使整个框架端到端可微。
训练
MNIST数据集经过筛选,只保留一类图像,而静态图像是从筛选后数据集的测试集中随机选择的。使用归一化交叉相关(NCC)训练网络。数学上是:
S和M分别代表静态图像和运动图像。下标mea和std分别表示图像的均值和标准差。图像中所有像素的求和。该训练在Tesla K80 GPU上大约需要5分钟,在CPU (i5-8250U)上大约需要10分钟。
2D的结果
扩展到3D
我修改了2D配准的代码,使其适用于3D volumes,并在T1-weighted扫描上进行了尝试。AIRNet的工作,与此相似。但与AIRnet不同的是,它是在监督的方式下训练的,并且需要ground-truth仿射变换参数,这是在无监督的方式下训练的,就像VoxelMorph。
3D的结果
—END—
英文原文:https://medium.com/@sarathchandra.knv31/deep-learning-based-2d-and-3d-affine-registration-da73df8d2f24
本文仅做学术分享,如有侵权,请联系删文。
下载1
在「计算机视觉工坊」公众号后台回复:深度学习,即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。
下载2
在「计算机视觉工坊」公众号后台回复:计算机视觉,即可下载计算机视觉相关17本pdf书籍,包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。
下载3
在「计算机视觉工坊」公众号后台回复:SLAM,即可下载独家SLAM相关视频课程,包含视觉SLAM、激光SLAM精品课程。
重磅!计算机视觉工坊-学习交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~
基于深度学习的2D和3D仿射变换配准相关推荐
- 基于深度学习的2D图像目标检测
参见第一部分网址1,第二部分网址2 目前学术和工业界出现的目标检测算法分成3类:(参见一文读懂目标检测:R-CNN.Fast R-CNN.Faster R-CNN.YOLO.SSD) 1. 传统的目标 ...
- 2d的公式_用深度学习实现 2D 到 3D 的转换
随着 5G 时代的到来,VR 端应用呈爆发式增长,3D 内容作为构建 VR 生态的主力输出一直深受广大用户的追捧和喜爱.针对目前 3D 内容过少,质量不高.生产昂贵等现状,爱奇艺作为国内领先的互联网视 ...
- 双目相机定位3d python_用深度学习实现 2D 到 3D 的转换
随着 5G 时代的到来,VR 端应用呈爆发式增长,3D 内容作为构建 VR 生态的主力输出一直深受广大用户的追捧和喜爱.针对目前 3D 内容过少,质量不高.生产昂贵等现状,爱奇艺作为国内领先的互联网视 ...
- 学术派 |用深度学习实现2D到3D的转换
随着 5G 时代的到来,VR 端应用呈爆发式增长,3D 内容作为构建 VR 生态的主力输出一直深受广大用户的追捧和喜爱.针对目前 3D 内容过少,质量不高.生产昂贵等现状,爱奇艺作为国内领先的互联网视 ...
- 实战:基于深度学习和几何的3D边界框估计
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 3D 对象检测问题在需要决策或与现实世界中的对象交互的机器人应用中 ...
- 最新综述 | 基于深度学习的SLAM方法:面向空间机器智能时代
最新综述 | 基于深度学习的SLAM方法:面向空间机器智能时代 A Survey on Deep Learning for Localization and Mapping Towards the A ...
- 基于深度学习的3D pose estimation总结(包括几篇2D pose estimation)
声明:此文章是作者自己学习过程中的简单总结,也是作者第一次上传,仅供各位同行参考,也请对文中错误和不足多多指教,敬请指正,谢谢! 一.任务描述 给定一幅图或者是一段视频,人体姿态估计就是恢复出其中的人 ...
- 史上最全 | 基于深度学习的3D分割综述(RGB-D/点云/体素/多目)
点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取 点击进入→自动驾驶之心[分割]术交流群 后台回复[分割综述]获取语义分割.实例分割.全景分割.弱监督分割等超全 ...
- 基于深度学习和3D图像处理的精密加工件外观缺陷检测系统
由于精密五金加工工艺特殊.零件形状复杂,表面存在金属材质纹理.加工残留纹路以及加工工艺的干扰,如切削液.油污.电镀.喷砂.氧化处理不良等.这样的金属加工件外观缺陷难以使用普通2D视觉检测系统进行高效检 ...
- 学习笔记之——基于深度学习的图像超分辨率重建
最近开展图像超分辨率( Image Super Resolution)方面的研究,做了一些列的调研,并结合本人的理解总结成本博文~(本博文仅用于本人的学习笔记,不做商业用途) 本博文涉及的paper已 ...
最新文章
- SAP Spartacus B2B功能,只渲染BodyContent position里的UI
- 持续20年,一场威胁Linux存亡的诉讼终结束
- 分享Silverlight/WPF/Windows Phone/HTML5一周学习导读(2月6日-2月12日)
- Hemberg-lab单细胞转录组数据分析(二)
- No valid Qt version set. Set one in Tools/Options 问题(QT)
- 服务器上出现应用程序错误。此应用程序的当前自定义错误设置禁止
- java向kafka推送数据_Java编写程序将数据存入Kafka中
- 【纯干货】4年前想解决的事情,今天才实验成功
- 区块链学堂——公有链、私有链、联盟链、侧链、互联链
- Ubuntu安装划词翻译软件Goldendict 单词翻译 句子翻译
- HTML——H5前端框架
- 好消息:GAX/GAT February 2008 Final Release
- 李嘉诚的经典名言,年轻人如何理财
- 嵌入式系统开发-麦子学院(12)——ARM Bootloader开发
- DLNA实现本地媒体服务器
- 《knowledge graph embedding:a survey of approaches and applications》论文阅读
- Python画地图数据可视化分析
- 会计凭证替代BTE增强
- 真无线蓝牙耳机推荐:2021最受欢迎的TWS耳机品牌
- Dynamic OCT 和 Dynamic ODT 详细说明