较真的来了！这篇【硬核论文】为何恺明新作MAE提供了一种理论解释和数学证明...

关注公众号，发现CV技术之美

昨天，arXiv上出现了一篇非常硬核的论文“How to Understand Masked Autoencoder”。该论文为何恺明的最新一作论文“Masked Autoencoders Are Scalable Vision Learners”提供了理论解释和相关数学证明。

对于不满于CV常被调侃只是调参，喜欢较真“算法可解释性”的朋友来说，这无疑是一篇不容错过的佳作。两位华人作者曹书豪、徐鹏分别来自华盛顿大学和牛津大学。

原文链接：https://arxiv.org/abs/2202.03670

背景介绍：

如果要盘点2021年计算机视觉领域中最受关注的研究工作，很多人首先会想到何恺明于去年11月份发布的新作“Masked Autoencoders Are Scalable Vision Learners”。这项工作刚一发布，便在业内引起了极其热烈的反响和讨论。

详情：

FAIR 何恺明、Piotr、Ross等新作，MAE才是YYDS！仅用ImageNet1K，Top-1准确率87.8%！

然而，MAE原文并没有提供理论分析和数学解释。广大学者们近两个月来在网上纷纷直呼期待相关的理论分析。就在昨天，大家的这个心愿实现了。“How to Understand Masked Autoencoder”为MAE提供了理论解释和相关数学证明。

论文梗概：

“How to Understand Masked Autoencoder”这篇论文从积分方程算子角度出发，针对MAE模型提出了5个关键的问题，相应地进行了理论分析，给出了明确的答案，并提供了数学推导和证明。

这五个问题是：

1. MAE模型的表示空间(representation space)是如何形成的、优化的？这个表示空间是如何在Transformer结构中跨层传播的？

2. 对图像的分片处理（patchifying）为什么有助于MAE模型的学习？

3. 为什么MAE模型内部低层和高层输出的特征表示之间没有显著的差异？

4. 解码器（decoder）对于MAE模型不重要吗？

5. MAE对每一个被随机遮盖的分片（masked patch）的重建仅仅是依据其最近邻的未被遮盖的分片进行推断的吗？

相信这篇振奋人心的论文会为我们打开一扇新的窗户，提供了对MAE进行理论分析的一些理论入口。这篇论文必然会鼓励广大从业者更加坚定地去更深入地探索MAE模型及其衍生模型。

后续本平台会持续关注这篇论文，并给出详细解读。

END

欢迎加入「自监督学习」交流群

较真的来了！这篇【硬核论文】为何恺明新作MAE提供了一种理论解释和数学证明...相关推荐

收藏！这 10 篇硬核论文，让你宅家也能更了解图神经网络
各位炼丹师,最近好吗? 掐指一算,今天是宅在家里的第十天.这个春节,可能是很多人从出生以来过得最漫长的一个春节. 以往,吃吃喝喝走街串巷同学聚会的春节总是转瞬即逝,还没来得及打开寒假作业.还没来得及倒 ...
深度了解自监督学习，就看这篇解读！何恺明新作MAE：通向CV大模型
点击上方"计算机视觉工坊",选择"星标" 干货第一时间送达作者丨科技猛兽编辑丨极市平台导读本文对何恺明的新作MAE进行了深度的解析,他提出一种用于计算机 ...
7. 重磅硬核 | 一文聊透对象在JVM中的内存布局，以及内存对齐和压缩指针的原理及应用
重磅硬核 | 一文聊透对象在JVM中的内存布局,以及内存对齐和压缩指针的原理及应用大家好,我是bin,又到了每周我们见面的时刻了,我的公众号在1月10号那天发布了第一篇文章?<从内核角度看IO ...
全网最硬核PWN入门_图解分析
PWN 序 Linux环境下的基础知识从C源码到可执行文件的生成过程程序的编译与链接什么是可执行文件可执行文件分类PE/ELF ELF文件格式区分节和段的存储区域加载ELF / 查看节和段 ...
mysql long类型_怒肝两个月MySQL源码，我总结出这篇2W字的MySQL协议详解（超硬核干货）！！...
点击上方蓝色"冰河技术",关注并选择"设为星标" 持之以恒,贵在坚持,每天进步一点点! 作者个人研发的在高并发场景下,提供的简单.稳定.可扩展的延迟消息队列框架 ...
推荐一篇微服务硬核文章 6 张图带你搞懂微服务
我是非典型理科男号主.点击上方蓝字关注. 关注后你可以收获最硬核的知识分享, 最有趣的互联网故事推荐老王的一篇关于微服务的文章. 通过文章你可以了解到单体架构到微服务架构的变化,ServiceMe ...
硬核讲解 Jetpack 之 LifeCycle 使用篇
大家好,我是 LifeCycle ,来自 Jetpack 生态链的最底端 . 我的作用是感知组件 (Activity/Fragment) 生命周期 ,并在合适的生命周期执行你分配给我的任务.我坚持贯彻 ...
硬核干货合集！500+篇Java干货技术文章整理|资源|书单|工具|面试指南|强烈建议打开！
今天给大家推荐一位在阿里做Java的朋友给大家,他是公众号[程序员书单]的作者黄小斜. 他的公众号[程序员书单]这两年来累积了200多篇优质原创文章,独家原创的系列文章有<五分钟学编程>系 ...
2019年技术盘点容器篇（二）：听腾讯云讲讲踏入成熟期的容器技术 | 程序员硬核评测...
戳蓝字"CSDN云计算"关注我们哦! 作者:刘晶晶据相关调研机构出具的报告数据显示,目前应用容器市场规模将从2016年的 7.62亿美元增长到2020年的27亿美元.显而易见,引 ...

较真的来了！这篇【硬核论文】为何恺明新作MAE提供了一种理论解释和数学证明...

较真的来了！这篇【硬核论文】为何恺明新作MAE提供了一种理论解释和数学证明...相关推荐

最新文章

热门文章