文献拜读小记：1.腹腔镜增强现实导航的研究进展综述

腹腔镜到底是什么呢？
专家介绍，它是一种带有微型摄像头的器械。腹腔镜手术就是利用腹腔镜及其相关器械进行的手术：使用冷光源提供照明，将腹腔镜镜头（直径为3-10mm）插入腹腔内，运用数字摄像技术使腹腔镜镜头拍摄到的图像通过光导纤维传导至后级信号处理系统，并且实时显示在专用监视器上。然后医生通过监视器屏幕上所显示患者器官不同角度的图像，对病人的病情进行分析判断，并且运用特殊的腹腔镜器械进行手术。

1.腹腔镜的光学视野局限，狭窄视野需要借助术前图像：

如CT、MRI

2.单纯虚拟现实过度依赖医生的经验和技巧，需要增强现实：

增强现实（AR）导航技术的应用能有效解决微创术中视野有限的问题．不同于虚拟现实（VR）， AR 是将虚拟信息融合在现实环境中，以增强用户对现实环境的理解．具体在外科手术中，AR 通过可视化组织表面下的重要解剖结构（如血管、神经、病灶等），将这些信息实时配准到当前医生视野（例如腹腔镜视野）内，使手术更加精准和安全．

3.由于腹腔环境的特殊性（动态非结构化），腹腔内的软组织器官在术中存在大变形和移位问题，使得 LARN 相比神经外科、耳鼻喉科、颜面外科及骨科中的增强现实导航技术更难实现：

现阶段的主要操作如下：
名词：腹腔镜增强现实导航（LARN，Laparoscopic augmented reality navigation）系统

4.对于实时形变，导航的静态配准需要进行优化：

基于静态配准的结果，实时配准的过程可以加入优化配准模型来进一步提高配准精度，但其主要任务还是实现手术过程中配准的实时性．实时配准的过程即对增强现实显示场景进行运动补偿的过程，进而实现实时的增强现实导航．

该运动补偿过程可以通过光学、电磁等跟踪设备跟踪实现
也可以通过处理腹腔镜图像，利用光流法、特征匹配跟踪等算法计算完成．

5.手术导航的显示方式

可分为光学叠加（optic see-through）、3D 图像叠加（3D image overlay）、投影叠加（projector based）以及视频叠加（video seethrough）4 种形式．

其中视频叠加是将虚拟的组织器官叠加显示到术中内窥镜视频中进行增强现实导航的形式．在微创手术中，医生是在内窥镜视图的指导下工作，这种方式的增强现实显示形式在实际运用中自然方便，使得该导航显示方式相比于其他显示方式具有较强的优势，得到了广泛的发展，是当前腹腔镜增强现实导航的主要形式．

6.技术难点

(1) 配准技术
在 LARN 系统中，配准的目的是寻找虚拟场景和实际场景之间的映射关系，是增强现实手术导航的核心技术．

刚性组织可以在患者体外粘贴标记点并通过点对配准算法完成配准
然而腹腔内软组织的配准无法采用这种方法．手动选取体内软组织解剖特征点的方法精度不高且无法应对组织变形．
基于形状匹配的配准方法需要对软组织表面进行光学 3 维重建，然而目前术中表面 3 维重建方法易受到光照、遮挡、背景干扰等影响，鲁棒性较低．

如何开发适用于软组织手术导航的高精度图像配准技术 是研究的方向和难点
(2) 变形补偿
术前获取 CT 或 MRI 图像时患者的体位和腹腔状态与术中不同（术中为气腹状态），而且术前数据与术中状态之间存在时间间隔，这导致术中组织解剖结构与术前 3D 模型不一致．
同时，腹腔内并没有刚性结构空间约束，术中人体的呼吸心跳、器械的交互也会导致感兴趣器官解剖结构的移位、变形甚至拓扑结构的改变，因此实时完成这些移位和变形的评估和补偿是实现高精度配准的必要条件．
虽然心跳、呼吸是接近周期性的，可以通过特定类型的自然运动进行补偿，但其他类型的变形均是不可预知的．而当前并没有理想的非刚性配准模型完成此类变形补偿，使得 LARN 中的变形补偿成为技术难点．虽然利用术中医学图像可以解决一部分变形问题，但术中 CT 增加了医生和患者的额外辐射，通用性差，且基于术中数据的 LARN 系统实现需要外部跟踪设备来辅助
(3) 运动补偿
手术是一个动态过程，要求导航系统必须具有实时配准的能力以实现增强现实场景的随动．
实现运动补偿的常见方法是跟踪内窥镜图像中的特征标记点（自然或人工标记点）的运动或使用跟踪传感器跟踪腹腔镜的运动
．电磁跟踪虽然无需直接视线，但常常受到诸如手术台之类的铁磁物体的干扰而跟踪失真．因此有人提出了光电混合跟踪以保证跟踪的连续性和精度，但这无疑增加了系统的复杂性，且各跟踪系统之间的位置校准越多，累积误差会越大
(4) 精度验证
LARN 的目的是增强手术场景的可视化，其最主要的评判标准就是目标配准精度（target registration error，TRE）．
到目前为止，LARN 的导航精度评价主要依赖于几何尺寸已知的模型实验或体外数据验证，在实际手术介入中还缺乏评价标准．虽然通过比较器官表面特征点的位置可以初步评价 AR 系统的配准精度，但只能验证软组织表面处的目标导航精度，对于器官深处的靶点（肿瘤或血管）仍然缺乏有效的事前精度验证方法．
(5) 感知适应
良好的增强现实显示效果能使医生对手术场景有更好的感知．然而，研究表明，AR 导航可能会对外科医生的注意力产生重要影响，如何避免视觉错觉，采取更适当的渲染算法十分重要．AR 中通常使用透明度来降低增强现实场景对医生的干扰，但透明度也会降低增强现实场景与实际手术场景的对比度，二者的平衡难以把握．如何做到虚拟场景和真实场景的无缝过渡与自然叠加，将人眼观察的不适感降到最低是增强现实显示技术需要解决的问题．