文献阅读 | Deep learning enables reference-free isotropic super-resolution for volumetric ﬂuorescence microscopy

Summary
Introduction
- 荧光显微镜中的各向异性原因
- 研究现状：荧光显微镜图像恢复领域
- 循环一致生成对抗网络（cycleGAN）
- 本文研究内容
- Figure.1 框架示意图和模拟研究
Results
- CyleGAN 架构
- 模拟研究
- 共聚焦荧光显微镜CFM的分辨率增强
- PSF-反卷积能力
- 光片荧光显微镜的分辨率增强
Discussion

☆☆☆☆☆
通讯 Jong Chul Ye：
Department of Bio and Brain Engineering, Korea Advanced Institute of Science and Technology, Daejeon, South Korea
Kim Jaechul Graduate School of AI, Korea Advanced Institute of Science and Technology, Daejeon, South Korea
韩国科学技术高等研究院生物与脑工程系，韩国大田；Kim Jaechul 人工智能研究生院，韩国科学技术高等研究院，韩国大田
发表：2022 年 6 月 8 日

Summary

荧光显微镜的体积成像也受到各向异性空间分辨率的限制。
研究人员为此提出了一种基于深度学习的无监督超分辨率技术，可以增强体积荧光显微镜中的各向异性图像。与需要匹配高分辨率目标图像的现有深度学习方法相比，我们的方法大大减少了投入实践的工作量，因为网络的训练只需要单个 3D 图像堆栈，而无需图像形成的先验知识过程、训练数据的注册或目标数据的单独获取

This is achieved based on the optimal transport-driven cycle-consistent generative adversarial network that learns from an unpaired matching between high-resolution 2D images in the lateral image plane and low-resolution 2D images in other planes. Using fluorescence confocal microscopy and light-sheet microscopy, we demonstrate that the trained network not only enhances axial resolution but also restores suppressed visual details between the imaging planes and removes imaging artifacts.
这是基于最佳传输驱动的循环一致生成对抗网络实现的，该网络从横向图像平面中的高分辨率 2D 图像与其他平面中的低分辨率 2D 图像之间的不成对匹配中学习。使用荧光共聚焦显微镜和光片显微镜，我们证明经过训练的网络不仅可以提高轴向分辨率，还可以恢复成像平面之间被抑制的视觉细节并消除成像伪影。

Introduction

荧光显微镜中的各向异性原因

Anisotropy in ﬂuorescence microscopy typically refers to more blurriness in the axial imaging plane. Such spatial imbalance in resolutions can be attributed to many factors, including diffraction of light, axial undersampling, and the degree of aberration cor-rection.
荧光显微镜中的各向异性通常是指轴向成像平面中的更多模糊。这种分辨率的空间不平衡可归因于许多因素，包括光的衍射、轴向欠采样和像差校正的程度。即使对于本质上超过光衍射极限的超分辨率显微镜，例如 3D 结构照明显微镜 (3D-SIM) 或受激发射损耗 (STED) 显微镜，也将轴向分辨率与横向分辨率相匹配仍然是一个挑战。

a truly isotropic point spread function (PSF) is difﬁ-cult to achieve for most contemporary light-sheet microscopy techniques, and the axial resolution is usually 2 or 3 times worse than the lateral resolution
对于大多数当代光片显微镜技术来说，真正的各向同性点扩散函数 (PSF) 很难实现，轴向分辨率通常比横向分辨率差 2 到 3 倍

研究现状：荧光显微镜图像恢复领域

deep learning emerged as an alternative, data-driven approach to replace the classical deconvolution algorithms.

Deep learning has its advantage in capturing the statistical complexity of an image mapping and enabling end-to-end image transformation without painstakingly fine-tuning the parameters by hand. Some examples include improving the resolution across different imaging modalities and numerical aperture sizes18, towards isotropy19,20, or less noise19.
深度学习在捕获图像映射的统计复杂性和实现端到端图像转换方面具有优势，而无需手动微调参数。一些示例包括提高不同成像模式和数值孔径大小18的分辨率，各向同性19、20或更少的噪声。 —— 需要对目标数据的深刻了解

各向同性重建

Weigert et al. used a supervised-learning strategy of pairing high-resolution lateral images with low-resolution axial images that were blurred with an explicit PSF model. 使用显式PSF模型来主动退化得到的低分辨图片（Nat. Methods, 2018; MICCAI, 2017）
Zhang et al21. implemented a GAN-based super-resolution technique with an image degradation model taken from the microscope. 来自显微镜的退化模型
在这两种情况下，图像退化过程都不是动态可学习的，并且这种固定图像退化过程的假设需要图像恢复的成功依赖于先验的准确性，并为显微镜专家增加了另一层操作。如果图像退化的初始假设不正确，则实际数据集中的性能可能会受到限制。特别是对于高通量体积荧光成像，成像条件往往会发生波动，并且样本的视觉特征被认为是多样的。
特别是对于高通量体积荧光成像，成像条件经常会发生波动，并且样本的视觉特征被认为是多样的。因此，在整个大规模体积图像中统一假设先验信息可能会导致训练模型的过度拟合，并加剧图像恢复的性能和可靠性。

循环一致生成对抗网络（cycleGAN）

unsupervised learning using cycle-consistent generative adversarial network (cycleGAN) is a promising direction for narrowing down the solution space for ill-posed inverse problems in optics.
使用循环一致生成对抗网络 (cycleGAN) 的无监督学习方法是缩小光学中不适定逆问题的解决方案空间的有希望的方向

When formulated as an optimal transport problem between two probability distributions23,25, unsupervised learning-based deconvolution microscopy can successfully transport the distributions of blurred microscopy images to high-resolution microscopy images by estimating the blurring PSF and deconvolving with it24.

本文研究内容

无监督深度学习框架，无需提供额外高分辨率各向同性3D数据集
Our framework takes advantage of forming abstract representations of objects that are imaged coherently in lateral and axial views: for example, 2D snapshots of neurons to reconstruct a generalized 3D neuron appearance 连续成像物体的抽象外观，如二维截面，来完成神经元三维重建
CFM实验中，解决了主要由光衍射和轴向欠采样驱动的各向异性。
在 OT-LSM 实验中，我们的目标是测试我们的方法是否可以解决由多个图像退化因素混合控制的各向异性问题，其中许多不是简单地用 PSF 卷积建模：例如，来自样本振动的运动伪影舞台漂移。
在所有情况下，我们的基于深度学习的无参考超分辨率方法在提高轴向分辨率方面是有效的。

Figure.1 框架示意图和模拟研究

a在荧光显微镜中，3D 成像通常会受到由光衍射和扫描方向上的欠采样引起的各向异性的影响。我们的单样本超分辨率方法是通过从横向和轴向切片或横向和轴向 MIP 中采样来学习高分辨率流形和低分辨率流形之间的双向变换G和F。
b框架示意图。生成网络G和F分别通过学习超分辨率轴向图像和还原过程来学习低分辨率图像和高分辨率图像之间的数据特定变换映射。G和F使用 3D 卷积层，判别网络D X和D Y驱动G和F的学习过程并使用 2D 卷积层。在具有重叠相邻块的子卷上迭代地执行大规模卷上的推理。

Results

CyleGAN 架构

The overall architecture of the framework was inspired by the optimal transport-driven cycle-consistent generative adversarial networks (OT-cycleGAN)23. 整体架构使用循环一致生成对抗网络 (OT-cycleGAN)

Fig. 1b illustrates the learning scheme of the framework. We employ two 3D generative networks (G and F in Fig. 1b) that learn to generate an isotropic 3D image from an anisotropic 3D image (the forward or super-resolving path) and vice versa (the backward or blurring path), respectively. 3D 生成网络（图 1b 中的 G 和 F），它们分别学习从各向异性 3D 图像生成各向同性 3D 图像（前向或超分辨路径），反之亦然（后向或模糊路径）

To curb the generative process of these networks, we employ two groups of 2D discriminative networks (DX and DY in Fig. 1b). Our key innovation comes from an effective orchestration of the networks’ learning based on how the discriminative networks sample during the learning phase. 监控判别这些网络的生成过程，我们采用了两组二维判别网络；关键的创新来自于基于判别器如何采样的有效配置

In the forward path, the discriminative networks of DX compare 2D axial projection images from the generated 3D image to 2D lateral images from the real 3D image, while preserving the lateral image information. Projection images from the generated volume are obtained as maximum intensity projections (MIP) with a randomized depth within a pre-determined range and are designed to emulate the lateral visual information projected from the adjacent slices. This pairing of samples to train the discriminative networks encourages the 3D generative network G to enhance only the axial resolution in the 3D volume output. DX 的判别网络将生成的 3D 图像的 2D 轴向投影图像与真实 3D 图像的 2D 横向图像进行比较，同时保留横向图像信息。

On the other hand, the discriminative networks of DY in the backward path compare 2D images from the reconstructed 3D image to 2D images from the real 3D image in each corresponding orthogonal plane; the 3D generative network F learns to revert the image restoration process. DY 的判别网络在后向路径中将来自重建 3D 图像的 2D 图像与来自每个对应正交平面的真实 3D 图像的 2D 图像进行比较

The cycle-consistency loss stabilizes the learning process and guides G and F to being mutually inverse. By achieving the balance of loss convergence in the form of a mini-max game26 by this ensemble of the discriminative and generative networks, the network G is trained to learn the transformation from the original anisotropic resolution to the desired isotropic resolution. 循环一致性损失稳定了学习过程，并引导 G 和 F 互为逆。通过这种判别网络和生成网络的集合，以极小极大游戏的形式实现损失收敛的平衡

模拟研究

复杂网状管状结构的模拟数据；将图像与仅轴向模糊的高斯核进行卷积，标准偏差为 4
sub-regions of 1203−1443 voxels
Figure 1.c/e ROI和大规模的推理可视化结果。PSNR 和 MS-SSIM 指标在 3D 网络输出中分别提高约 2 dB 和 0.16

为了评估图像退化对网络性能的影响，我们针对不同的成像条件进行了训练和测试：轴向模糊程度和轴向欠采样。轴向模糊的水平由高斯核的标准偏差控制，除了标准偏差为 4 的高斯模糊之外，还进行了轴向欠采样，并通过使用切片来模拟荧光显微镜中的欠采样过程间隔。
Figure 1.f 不同的图像退化下，网络输出的结果要高于输入；
Figure 1.g 网络输出的指标更接近于横向 MIP 图像的指标。使用 MIP 图像的 SSIM 和 PSNR 进行性能比较。横截面（n = 47 个不重叠的独立样本）以 15 个切片深度拍摄以生成 MIP 图像
compared axial MIP images with corresponding lateral MIP images of the reference volume, which was imaged at a perpendicular angle, as the lateral resolution reference.

maximum intensity projections (MIP)
calculated the FWHM (full width at half maximum) mismatches of the input and output image with respect to the ground truth (Fig. 1h).
Fig. 1h 网络输出的重建表现出匹配精度的显着提高;
网络输出的标准偏差也较低;
对于所有分割方法，网络输出的 PSNR 和 SSIM 指标始终高于输入(spFig. 2)

共聚焦荧光显微镜CFM的分辨率增强

用 CFM 对 Thy 1-eYFP 小鼠大脑的皮质区域进行成像
The sample was tissue-cleared and was imaged in 3D using optical sectioning.
横向分辨率为 1.24 µm，z 深度为 3 µm。物理尺寸跨度约为 1270 × 930 × 800 µm3；
使用双线性插值进行各向同性重建到 1 µm 的体素尺寸

In order to provide a reference that confirms the authenticity of the resolution improvement, we additionally imaged the sample after physically rotating it by 90 degrees, so that its high-resolution lateral XY plane would match the axial XZ plane of the original volume, while sharing the axial YZ plane.
各向同性GT的创建（样本旋转90重新对另一面进行成像）；单独获取的reference 由于其独立的成像条件和潜在的配准误差而远非完美的GT图像，但它仍然提供了关于框架重建的细节是否与真实物理测量匹配的最佳可用参考。

We illustrated the resolution improvement by comparing the distance on a resolved axial image and the corresponding distance in the lateral image for a structure that is symmetrical between the lateral and axial plane.
分辨率提高的轴向图像的距离；横截面图像中轴向某对称结构的对应距离

Fig.2a 在 CFM 体积中实现了接近各向同性的分辨率；XY平面（黄线）和XZ平面（蓝线）中圆柱形枝晶的会聚横截面强度分布表明，与XZ中的输入（蓝色虚线）相比，其具有近乎完美的各向同性分辨率。
spFig.5 恢复前后的傅里叶频谱分析 Fourier Spectrum analysis before and after restoration；输出的频率信息恢复到与横向成像的频率信息相匹配

We examined the anatomical accuracy of the resolved details by comparing them to the reference image (labeled as 90°-rotated in Fig. 2b, c), which provides a high-resolution match to the original axial image on a micrometer scale.
将恢复图像和参考图像进行比对；

Fig.2a 和spFig.6 该网络不仅成功地将轴向图像纹理转换为高分辨率图像域，而且还成功地恢复了先前被抑制的细节，这已通过参考成像得到验证。根据参考图像，网络输出准确地增强了神经组织的解剖特征，在整个图像空间中始终如一
Fig.2b 允许对皮层区域进行更高级的细胞结构研究，因为该网络管理了重要解剖特征的自适应恢复，这些特征在整个皮层区域的形态、密度和连通性上有所不同
在上皮层，先前模糊的锥体神经元顶端树突得到了解决（图 2b中左中 ROI ）。
网络输出还揭示了锥体神经元和中间神经元以前看不见的皮层微电路（图 2b中的底部 ROI ）。
Fig.2e 横截面强度分布说明了以前在轴向成像中模糊的抑制细节的这种恢复

We traced two pyramidal neurons by using NeuroGPS-tree, the current standard neuronal tracing method for instance segmentation, which was followed by human correction.

Fig.2c 分辨率恢复对三维重建的影响。在视觉比较中，来自网络输出的跟踪不受任何方向的限制，而在输入图像中，NeuroGPS-tree 未能跟踪被 z 轴欠采样中断的神经突。
spFig.7 神经元追踪显示

To quantify the anatomical accuracy of the reconstructed details by the network, we substantiated the reconstructions by the network via slice-by-slice verification of the output tracings on images from the lateral imaging. The verification was performed on the level of examining the branching of reconstructed neurites by deletion of false positives.
量化神经元重建精度：逐片验证，检查重建树突的分支

为了量化信号水平上的轴向分辨率增强，我们在输入轴向图像和参照横向图像中确定了 31 个不重叠的 ROI，每个 140 × 140 µm 2 ，其中相同的神经元结构可通过荧光发射在视觉上进行区分和类似检测. 然后，我们测量并比较了输入 ROI 和网络输出 ROI 与相应参考 ROI 的峰值信噪比 (PSNR) 距离。

Fig.2d 该网络引入了每对输入 ROI 与网络输出 ROI 的平均 PSNR 改善 2.42 dB

网络恢复的纹理细节包括在横向成像中更容易辨别的解剖学上准确的特征。我们注意到，它们的度量差异并不完全反映恢复细节的感知准确性，而是归因于通过以不同角度成像的成像会话之间的荧光发射差异（参见补充图 8）。我们通过用 CFM 对大鼠脑组织进行成像来训练和测试其他生物细胞或组织类型来进一步测试框架的泛化能力：用荧光 GFAP 标记物标记的星形胶质细胞和用凝集素标记的血管（参见补充图 9和 10）。在我们的评估中，该框架在图像质量和重建方面显示出具有生物学意义的改进。

PSF-反卷积能力

Light-sheet microscopy (LSM) is a specialized microscopic technique for high-throughput cellular imaging of large tissue specimens including optically cleared tissues.
To further explore the image restoration capability of our framework, we tested the deconvolution capability of an experimentally measured PSF on an open-top LSM (OT-LSM) system. 测试框架的反卷积能力
We imaged 0.5-µm fluorescent beads with OT-LSM, in the image stack with an overall physical size of 360 × 360 × 160 µm3. The image was re-sampled for reconstruction isotropically to a voxel size of 0.5 µm using bilinear interpolation.
反卷积后，网络输出的 2D 和 3D 重建表明几乎各向同性的分辨率，导致近乎球形的形状（图 3a）。
As shown in Fig. 3b, the FWHM distributions of the bright spots in the restored image show an almost identical match to those of the input in the lateral plane.The network output corrected the axial elongation of the PSF, with a mean axial FWHM of ∼3.91 ± 0.28 µm being reduced to ∼1.95 ± 0.12 µm, which is very close to the mean FWHM of ∼1.98 ± 0.13 µm from the lateral input.

对 0.5 µm 荧光珠进行成像以通过实验模拟 OT-LSM 系统的 PSF。
Fig.3a 在 3D 和 2D 中可视化的 PSF 反卷积示例。强度分布适合高斯函数。轴向伸长率是荧光显微镜中的常见问题。我们的框架将其解析为最初的球形荧光珠。切片图像在输入图像的信号范围内可视化。颜色条表示在 0 和 1 之间归一化的信号强度。比例尺：10 µm（左）、1 µm（中和右）。
Fig.3b 在 PSF 反卷积之前和之后，在横向和轴向平面中实验测量的 PSF 的 FWHM。

光片荧光显微镜的分辨率增强

sub-micrometer resolution, may introduce an aggregate of unexpected image artifacts that are not noticeable at a lower resolution. 这些伪影通常是校准或安装不当的显微镜的副产品。特别地，标准的 OT-LSM 系统34、35要求激发路径和成像路径相互垂直，并且可能会在XZ平面和YZ平面之间不均匀地引入图像质量失真。

使用OT-LSM在大规模成像中通过本文框架的图像恢复效果
Fig.4a 使用选定 3D ROI 的 MIP 图像比较未校准的 OT-LSM 中正交图像平面之间的图像质量
Fig.4b 框架corrected the doubling effect in the XZ plane and also enhanced the contrast between the signals and the background.
Fig.4c 来自输入的XZ、YZ 的MIP图像、Richardson-Lucy 算法的反卷积结果和网络输出的对比。
网络输出在XZ和YZ平面之间显示出均匀增强的分辨率，同时增强了信号与背景之间的对比度。这种改进能够更详细地重建 3D 神经元形态。由于图像空间中的图像退化是不规则的，RL 反卷积图像未能解决给定 PSF 未建模的额外成像伪影。相比之下，网络纠正了许多这些成像伪影。

为了定量评估 LSM 系统中的框架，我们通过校准显微镜生成近各向同性的地面实况图像，横向分辨率约为 0.5 µm，轴向分辨率约为1.9 µm，并大大降低了大部分以前的成像伪影。然后，我们通过应用标准差为 10 的轴向高斯核来模拟深度 PSF 模糊过程。

spFig.13a 网络成功地恢复了大部分模糊的轴向模糊信息。补充图 13显示了这个实验的结果。与 RL 反卷积图像相比，网络输出图像表现出精细细节的恢复（补充图 13a中放大的 ROI ）
spFig.13b 轴向分辨率提升的定量评估:
PSNR 和 MS-SSIM 被用作参考感知指标，BRISQUE 39被用作无参考图像质量指标来评估输出图像的感知自然度，与输入和地面实况相比。我们注意到所有指标的改进

到目前为止，我们已经证明了我们的方法在模拟、CFM 和 OT-LSM 中的有效性

Discussion

文献阅读 | Deep learning enables reference-free isotropic super-resolution for v ﬂuorescence microscopy相关推荐

文献阅读：Learning Aggregated Transmission Propagation Networks for Haze Removal and Beyond
文献连接:直达一.文献梳理 1.摘要背景:单图像去雾是一项重要的基础视觉任务,具有广泛的应用前景. 以往研究:传统方法使用视觉先验方法解决去雾问题,但当他们的假设对特定图像无效时,可能会造成去雾失 ...
文献翻译 Deep Learning
该篇文章为18年图灵奖得主,被誉为"深度学习之父"的Lecun.Bengio.Hinton三位业界巨擘共同发表在Nature上的关于深度学习的综述,DOI:10.1038/natu ...
文献阅读 - Deep Contextualized Word Representations
Deep Contextualized Word Representations M. E. Peters, M. Neumann, M. Iyyer, M. Gardner, et al., Dee ...
Deep Learning（深度学习）学习笔记整理系列之（五）
Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04 ...
TGN：Temporal Graph Networks for Deep Learning on Dynamic Graphs
2.Background 2.1 Deep learning on static graphs 一个静态图 G=(V,E)\mathcal{G}=(\mathcal{V},\mathcal{E})G= ...
[深度学习]DEEP LEARNING（深度学习）学习笔记整理
转载于博客http://blog.csdn.net/zouxy09 一.概述 Artificial Intelligence,也就是人工智能,就像长生不老和星际漫游一样,是人类最美好的梦想之中的一个. ...
Learning Deep Learning（学习深度学习）
作者:chen_h 微信号 & QQ:862251340 微信公众号:coderpai 简书地址:https://www.jianshu.com/p/e98c5f61a6f2 Learning ...
文献阅读2019-Computer-aided diagnosis system for breast ultrasound images using deep learning
文献阅读2019-Computer-aided diagnosis system for breast ultrasound images using deep learning 1 通过生成热图来探 ...
【论文阅读|cryoET】Isotropic reconstruction for electrontomography with deep learning (解决缺失楔问题降噪）
论文题目 Isotropic reconstruction(各向同性重建)for electron tomography with deep learning 期刊:Nature communicat ...

文献阅读 | Deep learning enables reference-free isotropic super-resolution for v ﬂuorescence microscopy