建了一个相关的群，希望大家做三维重建的，一起交流。
qq群：922452845

文章目录

0 基础知识
0.1 探头
0.2 三维重建的流水线
- 0.2.1 数据采集
- 0.2.2 重建
- 0.2.3 体重建
- 0.2.4 显示
- 0.2.5 渲染
- 0.2.6 应用
1 Real-time freehand 3D ultrasound imaging
- 1.1 系统
- 1.2 校准
- 1.3 重构方法
- 1.3.1 SDW interpolation
- 1.3.2 Bezier interpolation
1.4 GPU重建
- 1.4.1
- 1.4.2
- 1.5 ray-casting 显示
1.6 结论
1.7 Bezier Interpolation for 3-D Freehand Ultrasound
2 An Inertial-Optical Tracking System for Portable, Quantitative, 3D Ultrasound
- 2.1 Stradwin
3 形变问题
4 Model-based correction of ultrasound image deformations due to probe pressure
- 4.1 方法
- - 4.2 本文方法
  - 4.3 详细方法

0 基础知识

0.1 探头

凸形探头，线性探头，3D超声探头，

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aQKXxNcp-1635211280043)(https://cdn.shopify.com/s/files/1/0458/5573/5971/products/convex-probe-99c2-5ir-compatible-for-samsung-medison-head_large.jpg?v=1609595322)]

0.2 三维重建的流水线

0.2.1 数据采集

二维阵列扫描、机械扫描、跟踪徒手扫描和非跟踪徒手扫描

黑点发出超声波，组成了黄色的金字塔。

这三个都是3D的探头，对某块感兴趣区域，做持续的扫描。

在超声探头上，添加传感器获取位置和方向，就是freehand的扫描方式。有电磁，光学和声学传感器。还有没传感器的。

最流行的就是：电磁跟踪系统，有安装在探头上的电磁传感器以及跟踪传感器在探头上的位置和方向的电磁发射器。然后将记录的空间信息传送到计算机工作站进行重建和可视化。

光学：安装在探头上的标记物和一个或多个摄像机跟踪标记物。有商用的成品，北极星光学跟踪系统和Optotrak Certus是用于三维超声成像系统的两种商用光学跟踪器，都是北方数据公司(NDI)的产品。然而，光学跟踪系统中发现的问题是，安装在探头上的标记太大，导致超声扫描过程不方便[1，并且摄像机的视线不能被遮挡[1。

为了解决这个问题，文献[13]中的工作创建了一种带有惯性传感器的光学跟踪系统，用于徒手三维超声成像，而不需要相机等外部参考。实验是基于模型的，使用了CCD相机以及dsp，图片相对位置判断位置和方向。缺点：陀螺仪的漂移。

完全不加传感器的话，效果会很差。

0.2.2 重建

2D图像和位置方向 —> 去除噪声 —> 增强 —> 分给找到组织，

二元坐标转三维坐标。

0.2.3 体重建

确定体的大小，坐标，圆点，体素的大小。

先填充体，会有空体素，以及多个像素对应一个体素。

再把空体素算出来。

基于像素的方法(PBM，使用简单，结果模糊，最近邻确定)、基于体素的方法(VBM)和基于函数的方法(FBM，研究不多)

像素最近邻法(PNN)、体素最近邻法(VNN)、距离加权法(DW)、径向基函数法(RBF)、基于图像的算法

0.2.4 显示

面绘制和体绘制，多平面重建技术，GPU加速

0.2.5 渲染

光束投射法，区分组织和液体

0.2.6 应用

三维超声成像用于产科有两个主要优点。首先，三维超声成像可以用来确定胎儿数量、胎儿表面特征和胎盘位置[41]。体绘制可以很好地区分组织和周围的羊水，因此适合于三维观察。

1 Real-time freehand 3D ultrasound imaging

1.1 系统

定位装置型号：MiniBird, Ascension Technology Corporation,
Burlington, VT, USA

1.2 校准

确定B超和定位装置的数据延迟，尽量保证同步。

1.3 重构方法

原理就是将扫描到的图片上的x，y二维的坐标，转移到三维的x,y,z坐标。
使用the squared distance weighted (SDW) (Huang et al. 2005) and Bezier inter-polation (Huang et al. 2015)
加权平方距离插值(SDW)(Huang et al.。2005)和Bezier插值(Huang等人。2015年)两种方法。
这两种方法都要bin filling and hole filling.
可以知道，二维的点转到三维，肯定会很稀孰，所以需要插值填补，避免模糊。

1.3.1 SDW interpolation

1.3.2 Bezier interpolation

1.4 GPU重建

100ms的时间用于计算，大多数时间用来显示。

1.4.1

1.4.2 1.5 ray-casting 显示

光线投射体渲染是从3D体积数据创建2D图像的过程。
重建后，从3个角度查看

1.6 结论

选择四阶Bezier曲线来模拟体素强度
不能用与心脏等跳动的器官，成像速度跟不上形变的程度。
两种插值方法，需要20s或者6s，可以憋气避免形变
应用于相对静止的软组织，例如肌肉骨骼组织、静止器官

1.7 Bezier Interpolation for 3-D Freehand Ultrasound

这篇论文讲的就是本系统所使用的插值算法，确实3d重建了一个婴儿。同一个作者

2 An Inertial-Optical Tracking System for Portable, Quantitative, 3D Ultrasound

光学传感器（一个CCD相机，图片之前的差别来判断位置）和6轴陀螺仪，
系统整体更侧重于硬件

2.1 Stradwin

3D超声校准

缺点1：误差比较大
缺点2：不适合皮肤，图片之间的差别比较小，CCD景深1mm，不太能看出差别
缺点2：只使用了模型

3 形变问题

徒手3D成像是需要接触手臂的，如果是心脏等部位的话，考虑也不好补偿。

为了表征不同接触力下的组织变形，力传感器提供接触力测量:
Trajectory-based Deformation Correction in Ultrasound Images

4 Model-based correction of ultrasound image deformations due to probe pressure

4.1 方法

基于图像的配准方法和基于生物力学模型的方法。
图像：空间正则化，样条的插值，加力传感器，在US探头上安装力传感器并为每个像素建立与接触力与像素位移相关的经验回归模型(使用已建立的美国散斑跟踪技术进行测量)

生物力学模型：需要知道要测量的组织的力学性质，然后预测力导致的变形。

生物力学模型，更真实。不过总是有一些强假设，可能不适合真实情况。结合CT图像，结合弹性图像，做校准。需要一些其他设备

4.2 本文方法

首次允许在超声图像中使用从图像本身获得的组织机械参数的个性化估计来补偿探头压力，而不需要知道探头压力引起的空间凹陷，也不需要力传感器。
相似工作：L. Han et al., Development of patient-specific biomechanical models for predicting large breast deformation. Phys
Med Biol 57:455-472, 2012.

本文提出的是估计每幅图像相对于参考无变形图像的形变场的方法。该方法基于2D生物力学模型，该模型考虑了图像中描绘的组织的机械参数，以预测真实的变形场。这些参数与变形场一起被估计，以便最大化参考图像和校正图像之间的互信息。然后，通过应用反变形场来校正图像。

可以近似看作是一个配准问题，序列图像ABCDEFG，ABCD被校准，没校准的E和D配准。

4.3 详细方法

二维生物力学模型:一个数学公式，杨式模量，力分布，以及位移的关系
预测了组织在探针压力作用下所经历的位移场。假设软组织经历相对较小的位移，采用Pheiffer等人以前提出的线弹性模型来解决这一问题。[6]。该模型受Navier-Cauchy方程支配：

没有实际应用在徒手3d超声建模，做了两副图的证明和应变分析

超声图像拼接及三维重建相关推荐

DICOM 医学图像阅读器 CT MRI 超声医疗软件三维重建可视化编程技术及应用
一. 概述此系统实现了常见 VTK 四视图,实现了很好的 DICOM 图像显示,可用于 DICOM 超声 X线 CT MR 三维重建拾取像素值窗宽窗位像素,距离测量,角度测量,提供源码: 并 ...
机器视觉-相机内参数和外参数
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 1.相机内参数是与相机自身特性相关的参数,比如相机的焦距.像素大小 ...
计算机视觉之旅(Day5)
对不起大家,很久没有写blog了,刚刚本科毕业,才回归自己的工作岗位. 现在开始机器视觉的学习吧! 我们来了解相机,其主要是由CCD或者CMOS芯片搭配外围电路组成,在图像传感器前配上各种各样光学结构 ...
测角误差估计算法matlab,Harris角点检测及 Matlab实验
目录 1 基础知识 1.1 图像变化的类型 1.2 提取点特征的作用 1.3 什么是好的角点检测算法? 2 Harris 角点检测 2.1 Harris角点检测基本思想 2.2 Harris角点检测: ...
matlab棋盘格标定角点,相机标定(Camera calibration)Matlab——棋盘格标定原理，流程...
计算机视觉----相机标定相机标定概念:图像测量过程以及计算器视觉中,为确定空间物体某点的三维几何关系位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,模型的参数就是相机的参数.求解 ...
计算机视觉：特征提取与匹配
目录 1. 特征提取和匹配 1.1 背景知识 1.2 特征匹配基本流程 1.3 局部特征描述子 2. Harris角点检测 2.1 角点(corner points) 2.2 HARRIS角点检测基本 ...
镜头畸变矫正、鱼眼镜头（算法）
首先这是径向畸变+切向畸变,都需要矫正(图片保密) 径向畸变就是沿着透镜半径方向分布的畸变,产生原因是光线在原理透镜中心的地方比靠近中心的地方更加弯曲,这种畸变在短焦镜头中表现更加明显,径向畸变主要 ...
计算机视觉：相机模型与参数标定
目录一.针孔照相机模型 1.像主点偏移 2.内参矩阵 3.畸变现象 4.畸变校正二.照相机标定 1.标定原理 2.实验流程三.代码实现(python+opencv) 1.数据准备 2.代码实现 ...
局部图像描述子【计算机视觉第二章】
目录什么是局部图像描述子 Harris角点检测算法角点(corner points): 角点特征: Harris 角点检测算子: Harris 角点检测算法的基本思想: Harris 角点检测算法 ...
镜头畸变现象及其校正方法
摄像机校准一般采用小孔成像模型,理想的小孔模型是线性模型,但是由于存在镜头畸变等原因,线性模型通常要加上一些内部参数,变成非线性模型.现对产生这一现象的原理以及解决方法进行整理,如下: 一.镜头畸变现 ...

超声图像拼接及三维重建