黑洞成像背后的算法 | 图像处理与反问题

昨天，人类第一张黑洞图像被拍出来了。我也来回顾下黑洞背后的成像原理。

本文很多资料来自我老板的课程：

http://bicmr.pku.edu.cn/~dongbin/Teaching_files/图像处理中的数学方法-18-19/index.html

和ted talk

https://www.ted.com/talks/katie_bouman_what_does_a_black_hole_look_like?language=en

[演讲者是mit csail phd今年开始在caltech任教]

图像处理经常被处理成反问题

什么是反问题

考虑正问题,是观测噪声，反问题就是在有了观测的条件下怎么获得真实图片u

如果A是一个恒同算子，反问题就是去燥

如果A是一个模糊，反问题就是去模糊

如果A是一个CT，反问题就是CT恢复

在将算法之前说一下这个问题意义，打个比方你要做核磁共振，你要绑在床上听着快一个小时噪声，那么你就希望这个算法进行sample 次数变少，那么如果我算法更厉害，你mri时间会越少。

有人说，这个问题简单就好了，那么如果A不可逆呢？

你说这个也简单，最小二乘啊，那么你就是没有考虑到－－观测噪声

考虑一个去模糊问题，如果有噪声，直接求逆结果会是怎么样的呢？

噪声在求逆的时候无数倍的被放大了，产生了棋盘一样的artifact

那么怎么解决问题呢？加入正则项！

这里的R的作用时

如果u不是“图片”，那么R值大一点
如果u像一张图片，R的值小一点

数学家就花了很久来构造R，第一个成功的是total variation，定义为

发明这个算法的stan osher教授也获得了应用数学最高奖 gauss 奖

https://www.math.ucla.edu/news/professor-stanley-osher-receives-highest-honor-applied-mathematics

当年这个算法也帮助LA破获了一起杀人案

那么我来介绍这次的算法

对于simulate数据

用了total variation的效果是

参考 project page：

http://vlbiimaging.csail.mit.edu/

为什么呢，为了达到这个分辨尺度，根据测不准原理，他们需要整个地球半径的天文望远镜。但是事实上我们造不出来这么大的望远镜，只能用九个观测站点的数据来做。这是一个高度不适定的反问题，那么需要更好的正则项。

设计正则项他们用到的想法是学习

From Learning Models of Natural Image Patches to Whole Image Restoration

https://people.csail.mit.edu/danielzoran/EPLLICCVCameraReady.pdf

他们用高斯混合模型对图片patch进行建模，学习出图片patch的distribution作为上面问题的正则项。

ted talk里面还讲到他们用了多个数据集去学习，用日常图片，宇宙照片，望远镜数据。。学习出来了很多个正则项，发现恢复出来的图片都是这样的图片。

更加深刻一点

其实这种做法和传统的sparse coding有很大的类似

G. Yu, G. Sapiro, and S. Mallat, Solving inverse problems with piecewise linear estimators:

From Gaussian mixture models to structured sparsity, IEEE Transactions on Image Processing,

21 (2012), pp. 2481–2499.

https://ieeexplore.ieee.org/document/6104390/

好处可能是

可以用到外部干净数据
非凸优化的局部最小值更少

Wipf David, Rao B D, Nagarajan S. Latent variable Bayesian models for promoting sparsity[J]. IEEE Transactions on Information Theory, 2011, 57(9): 6236-6255.

但是上面的分析都是单个gaussian的建模

据我所知用高斯混合模型来建模的理论分析到现在都很难。

顺便，这个小姐姐的研究都很有意思

最有名的可能是这个根据墙后的照相机判断墙后有没有人

http://people.csail.mit.edu/klbouman/cornercameras.html

来源：@知乎：2prime

黑洞成像背后的算法 | 图像处理与反问题相关推荐

双目立体视觉源代码双目立体视觉匹配程序双目视觉3d成像（三维重构图像处理）基于双目视觉的深度计算和三维重建 opencv写的双目视觉摄像机标定和三维重建代码
双目视觉/双目标定源码/图片集标定匹配三维重建坐标计算OpenCV 1.双目立体视觉源代码(包括标定,匹配,三维重建) 2.双目视觉实验图片集(双目立体视觉中使用的标准实验图,适合初学者进行实验使用 ...
快手火爆背后的算法逻辑分析
文中涉及到的推荐算法,大家可以关注下我博文中的推荐算法原理.有需要的可以关注下快手号:SYDLQSCC 营销技巧之快手火爆背后的算法逻辑分析.作为最早一批拿到短视频船票的产品,快手从默默无闻到饱受诟病 ...
剖析GPT，背后的算法，文献，行业影响和中小企业落地建议
ChatGPT是基于Google在17年发明的Transformer自然语言模型架构.它用来训练的文本数据是爬网得来的网页中的纯文本.ChatGPT 是基于GPT-3.5版本的,目前的GPT-4.0 ...
python图像处理方法_python图像处理之反色实现方法
本文实例讲述了python图像处理之反色实现方法.分享给大家供大家参考.具体如下: 我们先加载一个8位灰度图像每一个像素对应的灰度值从0-255 则只需要读取每个像素的灰度值A,再将255-A写入 ...
TokenInsight 对话首席——Facebook Libra背后共识算法第一作者首次中文平台深度访谈...
邀行业首席,谈市场现状,见趋势未来!第14期<对话首席>线上直播,于7月19日(周五)上午11点举办. 本次<对话首席>特邀Facebook Libra背后共识算法第一作者.康 ...
黑洞图片的背后，是图像处理技术的成熟！
前言: 就在昨天,人类历史上第一张黑洞图像被"拍"出来了. 请配戴眼镜查看高清大图尽管黑洞的第一张真身照是一张模糊.不规则的圆环,但这张照片的背后凝结了目前最先进的探测技术,整个 ...
黑洞照片背后的女人：她的算法让数据“拼”成了照片
北京时间4月10日21时许,数百名科研人员参与合作的"事件视界望远镜(EHT)"项目发布人类史上首张黑洞照片.在这张黑洞照片的背后,不得不提到她--加州理工学院助理教授凯蒂·博曼( ...
人类第一张黑洞照片背后的功臣，竟然是她！
北京时间4月10日晚人类首张黑洞照片公布这个让人类魂牵梦萦了一百年的"神秘黑洞" 瞬间成了议论最热的话题黑洞图像揭示了室女座星系团中超大质量星系 Messier 87中心的黑 ...
Camera光学、成像和 3A 算法
成像与光学.计算机视觉,图像处理,数字成像.自动驾驶与视觉. 镜头设计:人成像(相机),机器视觉计算机视觉 -- 光学与 camera,书籍 <应用光学>,<几何光学> C ...

黑洞成像背后的算法 | 图像处理与反问题

黑洞成像背后的算法 | 图像处理与反问题相关推荐

最新文章

热门文章