《自然》:深度学习超分辨显微成像方法
来源:清华大学自动化系
2021年1月21日,中国人工智能学会理事长、中国工程院院士、清华大学自动化系、清华大学脑与认知科学研究院戴琼海课题组与中国科学院生物物理所李栋课题组在《自然•方法》(Nature Methods)杂志发表了题为光学显微成像中超分辨卷积神经网络的测评和发展(Evaluation and development of deep neural networks for image super-resolution in optical microscopy)的论文,该文综合测评了现有超分辨卷积神经网络模型在显微图像超分辨任务上的表现,提出傅立叶域注意力卷积神经网络(DFCAN, Deep Fourier Channel Attention Network)和傅立叶域注意力生成对抗网络(DFGAN,Deep Fourier Generative Adversarial Network)模型,在不同成像条件下实现最优的显微图像超分辨预测和结构光超分辨重建效果,并观测到线粒体内脊、线粒体拟核、内质网、微丝骨架等生物结构的动态互作新行为。
图1. 深度学习超分辨显微成像方法观测细胞骨架的交错结构
为测评现有多种超分辨神经网络在显微图像超分辨任务中的表现,以及建立基于深度学习的显微图像超分辨算法研究生态,戴琼海/李栋联合课题组首先利用自主搭建的整合了全内反射结构光照明显微镜(TIRF-SIM)、非线性结构光照明显微镜(Nonlinear-SIM)【Science,2015】和掠入射结构光照明显微镜(GI-SIM)【Cell,2018】等多种超分辨成像模态的多模态结构光超分辨显微镜系统对不同生物结构进行成像,建立了一个包含四种不同复杂度的生物结构、九种不同信噪比,以及提高2倍(Linear-SIM)、3倍(Nonlinear-SIM)分辨率的高质量超分辨显微成像公开数据集,命名为BioSR。以此为基础,该团队测试了多个现有超分辨神经网络模型的性能,并提出测评矩阵(assessment matrix)方法,将超分辨神经网络模型与传统线性结构光照明超分辨技术(Linear-SIM)和非线性结构光照明超分辨技术(Nonlinear-SIM)的效果进行比较,得到了不同模型的优越区域(priority region),即给出了不同模型实现足够好的超分辨成像效果、能够用于日常生物成像实验的成像条件。
但通过分析评测矩阵结果发现,现有超分辨神经网络模型的优越区域主要集中在低复杂度生物结构和提升2倍分辨率(即Linear-SIM)的成像条件下,而在生物成像实验通常使用的中、高信噪比条件下的性能则低于传统超分辨成像方法。为进一步拓展卷积神经网络在显微图像超分辨中的适用范围,提升超分辨成像和重建效果,戴琼海/李栋联合课题组基于高、低分辨率图像频谱覆盖范围的显著差异,提出了傅立叶域注意力卷积神经网络模型(DFCAN)和傅立叶域注意力生成对抗网络模型(DFGAN),实现了比其他现有卷积神经网络模型更鲁棒的显微图像超分辨预测效果,依据测评矩阵结果,其优越区域可以拓展至中高信噪比,可在实际生物成像实验中替代现有超分辨成像方法,应用场景得到较大程度的拓展。
图2. 傅立叶注意力机制和基于傅立叶域注意力卷积神经网络(DFCAN)、傅立叶域注意力生成对抗网络(DFGAN)结构光超分辨重建的活细胞成像
应用傅立叶域注意力卷积神经网络(DFCAN)和傅立叶域注意力生成对抗网络模型(DFGAN)单张显微图像超分辨率预测和结构光照明超分辨重建方法,研究人员能够以更低的激光功率、更快和拍摄速度、更长的拍摄时程和超越衍射极限和分辨率来观测亚细胞尺度的生物结构互作。例如:
(1)细胞中的线粒体内膜和线粒体拟核之间的相互作用,成像时程(>1200张超分辨图像)达到传统活体超分辨成像方法的10倍以上,观察到伴随着线粒体内脊形变的拟核分离和聚合现象;
(2)细胞中环形线粒体的行为,观察到环形线粒体会在细胞质流的推动下进行双向旋转,表明除植物细胞外,动物细胞一定程度上也用涡旋细胞质流来调节胞内稳态;
(3)细胞内吞过程中细胞微丝(F-actin)和网格蛋白小窝(CCPs)的相互作用,观察到在内吞过程伊始时细胞微丝与网格蛋白小窝接触较少,而在内吞即将结束时细胞微丝频繁接触网格蛋白小窝,以帮助其脱离细胞膜;
(4)细胞中线粒体和内质网之间的相互作用,观察到线粒体的分裂和融合往往发生在其与内质网的接触位点附近。
李栋
戴琼海
作者简介
中国人工智能学会理事长、清华大学自动化系戴琼海教授与中国科学院生物物理所李栋研究员为共同通讯作者。清华大学自动化系博士生乔畅、中国科学院生物物理研究所副研究员李迪、博士后郭玉婷、博士生刘冲为该论文共同第一作者。本研究得到了国家自然科学基金委、科技部、中国科学院、中国博士后科学基金、腾讯“科学探索奖”的资助。
文章链接:
https://www.nature.com/articles/s41592-020-01048-5
未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。
如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
《自然》:深度学习超分辨显微成像方法相关推荐
- 基于深度学习的表面缺陷检测方法综述-论文阅读笔记
//2022.3.2日阅读笔记 原文链接:基于深度学习的表面缺陷检测方法综述 (aas.net.cn) 个人对本篇综述内容的大致概括 论文首先介绍了表面缺陷检测中不同场景下的成像方案,主要根据表面颜色 ...
- 论文《基于深度学习的表面缺陷检测方法综述》学习笔记
<基于深度学习的表面缺陷检测方法综述>学习笔记 前段时间完成了<基于图像的零部件缺陷识别系统设计>毕业课程设计,过程中收获了很多,老师也分享了很多论文,在此记录一下学习的收获. ...
- [深度学习论文学习笔记]多模态融合的深度学习脑肿瘤检测方法
多模态融合的深度学习脑肿瘤检测方法 论文:http://www.photon.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id ...
- 深度学习笔记:优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)
深度学习笔记(一):logistic分类 深度学习笔记(二):简单神经网络,后向传播算法及实现 深度学习笔记(三):激活函数和损失函数 深度学习笔记:优化方法总结 深度学习笔记(四):循环神经 ...
- 基于深度学习的动物识别方法研究与实现
基于深度学习的动物识别方法研究与实现 目 录 摘 要 I ABSTRACT II 第一章 绪论 1 1.1 研究的目的和意义 1 1.2国内外研究现状 1 1.2.1 目标检测国内外研究 ...
- 帮推|基于深度学习的图像融合方法综述
基于深度学习的图像融合方法综述 博主朋友关于图像融合的综述论文基于深度学习的图像融合方法综述已被<中国图象图形学报>正式接收! 极力推荐想要入门图像融合领域的小伙伴下载学习,此外希望在图像 ...
- RetinaNet与点云聚类耦合的深度学习个体树分割方法研究
ABSTRACT 人类活动的增加对全球森林资源造成了严重干扰,如何准确识别单株树木已成为森林资源调查的重要任务.为了得到准确的个体树木数量,本文以针叶林和针阔混交林为实验样本,以数字正射影像图和机载激 ...
- 行为检测论文笔记【综述】基于深度学习的行为检测方法综述
摘 要: 行为检测在自动驾驶.视频监控等领域的广阔应用前景使其成为了视频分析的研究热点.近年来,基于深度学习的方法在行为检测领域取得了巨大的进展,引起了国内外研究者的关注,对这些方法进行了全面的梳理和 ...
- AI-无损检测方向速读:基于深度学习的表面缺陷检测方法综述
1 表面缺陷检测的概念 表面缺陷检测是机器视觉领域中非常重要的一项研究内容, 也称为 AOI (Automated optical inspection) 或 ASI (Automated surfa ...
- 基于弱监督深度学习的医学图像分割方法综述
基于弱监督深度学习的医学图像分割方法综述 摘要:基于深度学习的医学影像分割尽管精度在不断的提升,但是离不开大规模的高质量标注数据的训练,被称为弱监督学习的深度学习的一个分支正在帮助医生通过减少对完整和 ...
最新文章
- (3)WebApi客户端调用
- 转:WF中的跟踪服务(1):Sql跟踪数据库表,视图,存储过程等相关说明
- mysql job_MySQL数据传输中dtle 之 job 实现简析-爱可生
- java xmpp openfire_XMPP协议学习笔记三(Openfire服务器端搭建开发环境)
- python涉及到的逻辑_涉及逻辑运算的python表达式的运算顺序
- HTTP笔记-浏览器是如何识别点击的链接是下载文件还是展示页面
- Mac中使用svn进行项目管理
- 独家 | 2019届互联网校招本科薪酬清单|湾区人工智能
- 训练集,验证集,测试集比例
- asp.net mvc 简单文件下载
- 【Matlab系列】MATLAB2014a/2018a高版本 videoinput读取摄像头解决方案
- vi vim 字符串替换
- rfc2544_tput_test脚本中增加丢包率功能
- cur前缀_常用词根前缀
- C#笔记5//建造游戏1/网格地图脚本1/自编/仅创建网格/无需插件
- python判别性别的代码_根据三围数据判断出用户性别竟是python使用逻辑回归算法搞的鬼!...
- ios 获取沙盒文件名_iOS之沙盒路径
- 科目二考试技巧全总结
- 计算机基础知识教程excel试题,计算机基础知识试题
- python宣传海报_用Python做一个令人发疯的海报
热门文章
- 支付宝首页搜索栏淡出效果HTML,jQuery实现仿Alipay支付宝首页全屏焦点图切换特效...
- 高登学苑-解密携程4.9分的秘诀学习笔记
- 电信物联卡网络怎么样_中国电信物联网专用卡(中国电信物联网卡怎么样)
- C#学习 - XML Serialization
- Java程序员必读书籍推荐
- 高考志愿填报|物联网为何成为【热门选手】?
- PHP发送邮件类库PHPMailer的简单使用 摘自 现代魔法研究协会
- ubuntu18.04安装PCL点云库踩坑指南
- 666RPG(计数dp)
- 【毕业设计】大数据疫情数据分析及可视化系统 - python