Masked Image Modelling（MAE，iBOT，Data2vec，SimMIM，CAE，BEVT）
这篇文章主要整理kaiming大神所提出的MAE，和沿着MAE发展的几个代表性变体模型。
Masked Autoencoders Are Scalable Vision Learners
MAE的最突出的贡献是在iGPT和BEiT的基础上，化繁为简，让BERT式预训练能真正在CV上也能训到很好，即CV届的BERT/GPT-3！为了理解这句话，可以首先看看kaiming大神在一开头就提出的问题：为什么CV和NLP用的masked autoencoder不一样？（博主的理解是为什么CV非要改装之后才能用Transformer）。比如对于iGPT的做法是马赛克图像使其变成色块patch再输入Transformer；BEiT用dVAE离散化图像再用Decoder还原。主要是因为，
- 结构上（Architecture）。CV和NLP直到最近在结构上都是不一样的，CNN天然适合图像领域，要像Transformer运行需要mask，position token这些不够自然，因此也造成了这第一个困难。不过随着ViT的提出，相比iGPT的马赛克、dVAE的离散化来说，ViT这种patch形态是对信息损失最少且相对高效的。
- 信息密度上（Information density）。语言是由人类产生的信号，具有高度的语义性和信息密集性。相反，图像是具有大量空间冗余的自然信号，其实遮挡patch、word去预测的时候，图像要比文本容易很多，一般只需要通过周边的patch即可推理出来。所以这篇文章给的策略是：mask掉非常多的随机补丁，比如90%以上。这种策略可以在很大程度上减少冗余，增强模型的理解能力。
- Decoder上。语言中解码器预测包含丰富语义信息的缺失单词（语义级别高），而视觉中的解码器重建像素（语义级别低）。对于复原图像来说，如果太关注细节就会损失高维抽象能力，因此这篇文章的策略是非对称编码解码器（asymmetric encoder-decoder），即encoder只负责抽取高维表示且仅对没有掩码的信号进行操作，而轻量级的decoder则负责从隐表示和带掩码的token中进行图像信号还原。
MAE的模型结构如上图，主要有一下几个部件：
- Input。MAE 和 ViT 的做法一致，将图像切成patches。然后采用的非常高的mask rate，以大大减小冗余信息，增加重建 images 的困难。
- MAE Encoder。主体和 ViT 的一样，但是这里的Encoder会只对整个图片 patches 小集合 (例如25%)进行操作，而删除掉有mask的patches，即这个小子集是unmasked patches组成。而不使用BERT那种特殊字符作为掩码标记。
- MAE Decoder。操作集合是整个图片 patches，仅用于预训练期间执行图像重建任务。在非对称的设计下，解码器可以很轻量来缩短预训练的时间。
- Reconstruction。Linear层，归一化的像素算MSE Loss。
从结果上看，MAE在ImageNet-1k过了所有在ImageNet-21k pre-training 的 ViT 变体模型们。证明了重建原图pixel的重要性，这种非常直观的MIM对比起MLM来看，开头的那句CV届的GPT-3应该真的不远了。
- paper：https://arxiv.org/abs/2111.06377
How to Understand Masked Autoencoder
补一篇MAE的理论证明。首先作者整理了MAE的主要贡献：
- 1K数据集训练就有很好效果，可以促使人们重新考虑ViT的研究。此外，性能超监督学习且展现出其强大的scaling能力。
- MAE作为一种生成式模型打败了对比式模型如MoCo。
- 搭起CV和NLP的桥梁。
然后作者提出了五大理论分析问题：
- 1MAE模型的表示空间(representation space)是如何形成的、优化的和传播的？A：MAE中的注意机制等价于一个可学习的积分核变换，其表示能力由巴伦空间Barron space动态更新，位置嵌入作为高维特征空间的坐标。
- 2图像的patch为什么有助于MAE模型的学习？A：在图像的低秩性质的常见假设下，我们证明了MAE的随机补丁选择保留了原始图像的信息，同时降低了计算成本。（其实这也是为什么MIM的方式要比对比学习好的愿意之一，对比学习的增强方式如crop都有分布偏差如集中在中部，那么在泛化时不够通用，而MIM是随机还原各个区域，因此学到的表征可能会更加通用）
- 3为什么MAE模型内部低层和高层输出的特征表示之间没有显著的差异？A：ViT主干中的缩放点积注意在跨层传播过程中提供了稳定的表示。
- 4decoder对于MAE模型不重要吗？A：解码器对于帮助编码器建立更好的表示是至关重要的，即使解码器在预训练后被丢弃。由于MAE解码器中的补丁维数更大，它允许编码器中的表示空间通过巴伦空间的函数更加丰富，以学习更好的基础。
- 5MAE对每一个masked patch的重建仅仅是依据其邻居patch进行推断的吗？A：masked patch的潜在表示是基于由注意机制学习的补丁间拓扑进行全局插值的。
详细数学证明请参看全文：
paper：https://arxiv.org/abs/2202.03670
iBOT:Image BERT Pre-training with Online Tokenizer
大多数 CV 的自监督学习关注的往往是图片的global view比如 MoCo，而没有认真研究 image，而MAE的出现使MIM变成现实。这篇iBOT的关注点主要在于，Online Tokenizer：
- NLP的lingual tokenizer 非常重要，其把词语变成富含语义的 tokens。
- CV的visual tokenizer非常重要，那么它也应该把图片变成富含语义的 tokens。
但由于图像连续分布且存在大量冗余的底层细节信息，visual semantic不容易被提取。因此，作者们提出先训练一个 off-the-shelf 的 tokenizer来学习带有丰富语义的 tokens。类似BEiT的dVAE ，但作者希望能学到更高级的语义，这种高级语义的定义为：1）具备完整表征连续图像内容的能力；2）像 NLP 中的 tokenizer 一样具备高层语义。具体方法如上图，主要使用知识蒸馏，待训练的ViT输入masked images，而Online tokenizer 接收原始图像，目标让ViT的重建masked patch token。与MAE的区别就在于，MAE是Decoder来重建，而IBOT让Encoder来输出重建以学习高维信息。
- Input。学生网络输入masked token，教师网络是全部，目标是让学生网络有能力重建。
- loss。损失函数1,2是 patch上的自蒸馏，让学生的输出和教师越接近越好。损失函数3,4是[CLS]上的自蒸馏，让online tokenizer 学习到高语义特征。都是做Contrastive Learning。
paper：https://arxiv.org/abs/2111.07832
Data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language
这篇文章扩展Tokenizer到多模态数据，是一个通用的自监督学习框架，同时适用于图像、语音和文本。主要模型架构如上图。其核心就在于对不同模态采用不同的编码方式以及掩码方式。
- 文本 : 常规token embedding和token masking。
- 图像：patch embedding和block-wise masking。
- 语音：多层一维卷积对waveform进行embedding和span masking。
Teacher-Student和iBOT较像，细节可以看原文。
- paper：https://ai.facebook.com/research/data2vec-a-general-framework-for-self-supervised-learning-in-speech-vision-and-language
- project：https://github.com/pytorch/fairseq/tree/main/examples/data2vec
SimMIM: A Simple Framework for Masked Image Modeling
来自CVPR2022的文章。这篇文章同样也从nlp和cv中建模MIM任务的不同之处，作者们主要认为有以下几点：
- 图像具有更强的局部关系，即相互靠近的像素往往是高度相关的。
- 视觉信号是原始的、低层次的，而语言是高级概念。
- 视觉信号是连续的，而词是离散的。
SimMIM的模型架构由 4 个部分组成：
- Masking strategy：给定一张输入图像，该组件负责选择掩码的区域及实现所选区域的掩码。经过掩码后的图像将用作模型输入。 分中心区域掩码策略（随机）和块级掩码策略（ 16x16 和 32x32 ）。
- Encoder architecture：编码器提取掩码图像上潜在的特征表示，然后用来预测掩码区域的原始信号。主要考虑两种典型的vision Transformer架构: vanilla ViT和Swin Transformer。
- Prediction head：预测头用于潜在的特征表示，表示掩码区域中的原始信号。
- Prediction target：预测原始像素值，或原始像素的变换。损失函数包括交叉熵分类损失和l1或l2回归损失。
paper：https://arxiv.org/pdf/2111.09886.pdf
code：https://github.com/microsoft/SimMIM
CAE: Context AutoEncoder for Self-Supervised Representation Learning
本文的motivation在于：MAE、BEiT、ViT等等模型的Encoder & Decoder 解耦模式会影响 Encoder 的学习能力。即虽然Encoder 学表征，Decoder 做预训练，之后迁移到下游时Decoder往往会被抛弃。作者认为这种方式，即使Encoder表征不够好，也有Decoder在后面做修正，这将限制Encoder 的表征学习能力。
所以提出CAE(Context AutoEncoder)，模型结构如上，关键组件在于Latent Contextual Regressor，Regressor由transformer blocks组成，成为一个语义阻断器使Decoder和Encoder之间的分工更为明确，可以对比看一下MAE和CAE的输入输出：
- MAE ： Encoder 仅接受 visible(un-masked) patches，Decoder接受编码结果和masked tokens一起预测masked patches 的像素值。
- Regressor：它会输入masked patches当Q+un-masked patches当KV，然后Regressor 仅将 masked tokens 表征送给 Decoder。因此Decoder拿不到un-masked patches 的表征，所以阻止了它也去学un-masked表征。
- Alignment：同时对于masked表征也不让Decoder学，就会将Regressor 估计的 masked tokens 表征与 Encoder 对于 masked patches 进行编码得到的表征对齐。
确实比较巧妙，可以看看作者的代码实现
- https://github.com/lxtGH/CAE
BEVT: BERT Pretraining of Video Transformers
继续更一篇CVPR2022，开始从image做到video了。不同于静态图像，除了空间先验信息，视频中包含着运动、物体间交互等丰富的动态信息，因此做到视频中的MVM需要同时学习空间先验信息和时间动态信息。
模型框架图如上，在image上的空间表征学习（Masked Image Modeling）和在video的时间动态信息表征学习（Masked Video Modeling）进行联合训练的双路架构，并分别通过同一种 BERT 的掩码预测自监督任务进行训练。
- Masked Image Modeling。掩码图像建模的训练目标是从掩码输入中恢复对应的离散视觉 token。使用 blockwise masking 方式。
- Masked Video Modeling。视频会被切分为若干 3D patches，掩码视频建模的目标也是从掩码三维输入中恢复对应的离散视觉 token。使用适用于时空三维输入的 tube masking 方式。
BEVT 也使用预训练的 VQ-VAE 将连续图像内容转换为离散视觉 token，作为自监督预训练任务的预测目标。
paper：https://arxiv.org/abs/2112.01529
code：https://github.com/xyzforever/BEVT
Masked Autoencoders As Spatiotemporal Learners
继续补kaiming大佬团队新出的文章，同样也是做到video里面去，主要结构如上图。
- Patch Embedding : 类似ViT，沿空时维度拆分为无重叠的规则的网格块，然后flatten+位置嵌入过（只有空间域），线性投影层。
- Masking : 非结构化随机采样，类似BERT和MAE。有一个很强的结论是：最优Mask比例与数据的信息冗余相关。即BERT的15%与MAE的75%已经表明：相比语言，图像具有更强的信息冗余，而这篇文章高达90%和95%的Mask比例则进一步证明了视频的冗余更多。
- AutoEncoding : 延续MAE，编码器的ViT仅作用于可见块嵌入，解码器ViT比编码小。
https://arxiv.org/pdf/2205.09113.pdf
Masked Image Modelling（MAE，iBOT，Data2vec，SimMIM，CAE，BEVT）相关推荐
- 均方根（rms），标准差（std）,平均绝对误差（mae），方差（var/std*std）计算与数学意义
在计算时总是遇到需要计算平均值,但是对于均方根和标准差选择还是不明确. 标题里面的括号为matlab函数可以直接运行. 1.均方根(rms) 均方根误差用于衡量观测值同真值之间的偏差. 2.标准差(s ...
- 线性回归评价几个指标（MAE，MSE，RMSE，R^2，MAPE）
Python–线性回归评价指标实现 一.项目背景 (可不看) 最近在做非线性数据的数据预测,一头雾水,一年不学习,脑袋有问题.还记得上次做的数据是关于一个政务系统的热点问题分类模块,用了机器学习和深度 ...
- 股票预测（数据为招商银行在A股的数据，模型为MSCNN_Bilstm_Attention,python，代码和数据均在压缩包里，可以直接运行，并使用MAE/MSE/MAPE/涨跌准确率作为指标）
1.数据介绍(考虑开盘价格,最高价格.最低价格,收盘价格等因素,预测未来的每天收盘价格): 2. 模型(MSCNN_Bilstm_Attention模型) 3.测试集的预测值和真实值 指标: 4.与另 ...
- Masked Autoencoders Are Scalable Vision Learners（MAE）
VIT论文解读:Vision Transformer(ViT)_NLP_wendi的博客-CSDN博客 论文链接:Masked Autoencoders Are Scalable Vision Lea ...
- 多模态数据也能进行MAE？伯克利谷歌提出M3AE，在图像和文本数据上进行MAE！最优掩蔽率可达75%，显著高于BERT的15%...
关注公众号,发现CV技术之美 本文分享论文『Multimodal Masked Autoencoders Learn Transferable Representations』,思考:多模态数据也能进 ...
- 【VirtualBox】VirtualBox使用现有的虚拟盘文件（如VHD）创建虚拟机时，报错：打开虚拟硬盘失败，“UUID already exist”的解决方法
###0.问题描述 使用现有的虚拟盘文件(如VHD)创建虚拟机时,报错:打开虚拟硬盘失败,"UUID already exists"的错误. ###1.参考博客 https://w ...
- 在报文摘要算法MD5中，首先要进行明文分组与填充，其中分组时明文报文摘要按照（42）位分组。【答案】C
在报文摘要算法MD5中,首先要进行明文分组与填充,其中分组时明文报文摘要按照(42)位分组. (42)A.128 B.256 C.512 D.1024 [答案]C [解析]本题考查报文摘要算法的基础知 ...
- CF510D Fox And Jumping（动态规划转换为最短路，O(n^2×2^9) -＞ O(nlogn)，裴蜀定理应用）
整理的算法模板合集: ACM模板 点我看算法全家桶系列!!! 实际上是一个全新的精炼模板整合计划 以下内容摘自 我的文章:算法竞赛中的数论问题 - 数论全家桶(信奥 / 数竞 / ACM)作者孟繁宇, ...
- 【算法笔记】莫比乌斯反演（包含定理，两种形式的证明及入门经典模板）
整理的算法模板合集: ACM模板 目录 一.莫比乌斯反演 二.几个概念和定理 三.两种形式的莫比乌斯反演证明 四.POJ 3904 Sky Code(入门例题) 一.莫比乌斯反演 学习笔记,我是看这个 ...
- seaborn可视化散点图并自定义数据轴标签（X轴和Y轴的轴标签，Change X Y Axis Labels to a Seaborn Plot）
seaborn可视化散点图并自定义数据轴标签(X轴和Y轴的轴标签,Change X & Y Axis Labels to a Seaborn Plot) 目录
最新文章
- 写下今年1024的一篇文章
- 内地计算机学校,全球大学计算机实力排名：清北人工智能内地前2
- 微软为其虚拟机更新Linux支持
- Xcode出现（ linker command failed with exit code 1）错误总结
- WEB前端学习笔记01利用纯CSS书写二级水平导航菜单
- C#常见编码方式总结
- 开车走吗？朋友......
- C/C++冷门知识点你知道多少呢？
- 小程序入门学习16--上传小程序至github
- Eclipse的设置、调优、使用（解决启动卡顿等问题）
- 培训协议与服务器有没有要求,上面说的是提供专业培训且规定了服务器和培训费以及违约金的问题。试用期辞职单位有没有权利追究违约金呢?- 法律快车法律咨询...
- GitHub 年度报告，2017 年最受欢迎的编程语言
- PIL库的总结与简单应用
- linux可以同时有两个mysql吗_Linux 同一系统安装两个MySQL
- 2021-0415梦笔记
- 计算机组成原理(白中英) 第一章课后题部分答案（知识点汇总及扩展）
- SQL Prompt
- 微型计算机常用的分区格式,教你分出整数的硬盘分区
- python各城市对应的省_python实现城市和省份字典（根据城市判断属于哪个省份）...
- 网易云音乐评论功能实现(数据库设计)