带掩码的自编码器MAE在各领域中的应用总结

机器学习算法应该理解数据从中提取有用的特征才能够解决复杂的任务。通常训练泛化模型需要大量带注释的数据。这个是非常费时费力的，并且一般情况下都很难进行。

所以各种基于带掩码的自编码器技术就出现了，这种技术允许在未标记的数据上训练模型，并且获得的特征能够适应常见下游任务

BERT — 最早的遮蔽模型，用于文本任务 1810.04805
MAE — 图像，可以说它将BERT的辉煌延伸到了视觉 2111.06377
M3MAE — 图像+文字 2205.14204
MAE that listen — 音频 2207.06405
VideoMAE — 视频 2203.12602
TSFormer — 时间序列 2107.10977
GraphMAE — 图 2205.10803

从上面我们可以看到 Masked Autoencoder几乎覆盖了大部分的主要研究领域是一种强大而简单的技术，它使用基于transformer的模型进行预训练得到高水平的数据表示，这对在任何下游任务(迁移学习，微调)上采用该模型都很有帮助。

自监督学习是一种不需要任何标签就能获得数据信息表示的方法。标准的自监督学习技术通常使用高级数据增强策略。但是对于文本、音频、大脑信号等形式来说，如何选择增强策略并且保证策略的合理性是一个非常棘手的问题

而Masked Autoencoder不使用这种策略。我们只需要有数据，并且是大量的数据还有必要的计算资源即可。它使用重建的方式根据被部分遮蔽的样本来预测完整的数据。如果遮蔽了大约70%的数据，模型还能够恢复数据的话，则说明模型学习到了数据的良好的高级表示

MAE是如何工作的？

MAE 的工作原理非常简单。看看下面的图片：

训练前需要屏蔽一半以上的Patch(比如75%)。编码器接收可见的Patch块。在编码器之后，引入掩码标记，用一个小（相对于编码器小）解码器对全部编码的Patch和掩码标记进行解码，重建原始图像。下游的任务中，编码器的输出作为特征，下游任务不需要进行遮蔽。

一般流程如下:

获取数据样本（图像）。
对样本进行区域划分(patches for image, word for text等)
应用高比率的随机遮蔽(论文中使用75%)
只保留可见的部分，并将它们输入编码器。
使用上面的掩码进行填充，将编码器的输出和遮蔽进行合并并且保留原始顺序，作为解码器的输入。
解码器来负责重建遮蔽。

就是这么一个简单的流程就能够从数据中提取有意义的特征

带掩码的自编码器MAE在各领域中的应用总结相关推荐

自监督学习之掩码自动编码器(Masked Autoencoders, MAE)——音频识别方面
自监督学习之掩码自动编码器(Masked Autoencoders, MAE)--音频识别方面 1.参考文献 <Masked Autoencoders that Listen> 2.背景 ...
深入理解深度学习——注意力机制（Attention Mechanism）：带掩码的多头注意力（Masked Multi-head Attention）
分类目录:<深入理解深度学习>总目录相关文章: ·注意力机制(AttentionMechanism):基础知识 ·注意力机制(AttentionMechanism):注意力汇聚与Nada ...
斯坦福NLP名课带学详解 | CS224n 第10讲 - NLP中的问答系统（NLP通关指南·完结）
作者:韩信子@ShowMeAI,路遥@ShowMeAI,奇异果@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/36 本文地址:https://ww ...
斯坦福NLP名课带学详解 | CS224n 第11讲 - NLP中的卷积神经网络（NLP通关指南·完结）
作者:韩信子@ShowMeAI,路遥@ShowMeAI,奇异果@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/36 本文地址:https://ww ...
超导芯片应用计算机,带大家了解几个超导技术在生活中的实际应用张万三给大家超级超导材料技术，要找超导在...
带大家了解几个超导技术在生活中的实际应用张万三给大家超级超导材料技术,要找超导在西部,西部城市在宁夏!!! 2019-10-27 由于超导技术的神奇特性,人们对超导技术的应用前景非常关注.下面,我们 ...
一篇文章带你看懂以及实现加解密技术中的信息防篡改、一码一检、过期失效、多种实现方式
一篇文章带你看懂以及实现加解密技术中的信息防篡改.一码一检.过期失效.多实现方式导语一.简介二.代码功能介绍以及源码 2.1.AbstractRsa 类 2.2 RsaUtils 类 2.3 R ...
带你在微信h5棋牌开发MySQL领域发展
带你在微信h5棋牌开发MySQL领域发展论坛:aqiulian.com,更多MySQL领域发展咨询Q:212303635.最近绝地求生这个游戏太火了,当我问我的朋友们你们闲时在干嘛,基本上告诉我的答案 ...
一图文带您认识磁编码器
磁编码器是以磁电原理技术生产的编码器. 磁编码器工作原理: 当电流通过一个位于磁场中的导体的时候,磁场会对导体中的电子产生一个垂直于电子运动方向上的的作用力,从而在垂直于导体与磁感线的方向上产生电势差 ...
查询sick编码器型号是否支持hiperface接口方法，软件支持所有带此接口sick编码器
以SEK37-HFB0-K02为例去sick官网查如下 https://www.sick.com/cn/zh/search?text=SEK37-HFB0-K02

带掩码的自编码器MAE在各领域中的应用总结

MAE是如何工作的？

带掩码的自编码器MAE在各领域中的应用总结相关推荐

最新文章

热门文章