DINO 自监督算法简介

Emerging Properties in Self-Supervised Vision Transformers

[Ref: https://arxiv.org/abs/2104.14294]

DINO 的初衷是质疑自监督学习相较于 CNN 是否为 Transformer(ViT) 提供了新的属性，但是在过程中，发现：

自监督 ViT 的特征在图像的语义分割中包含的显式信息，这是之前监督学习下无论 ViT 还是 CNN 都没有出现的情况。
这个架构用一个很小的 ViT 提取出来的特征用 k-NN 来对 ImageNet 图像数据集进行分类可以达到 78.3% top-1

论文将这个自监督结构命名为 DINO

DINO 自监督算法简介相关推荐

DL之DNN优化技术：神经网络算法简介之数据训练优化【mini-batch技术+etc】
DL之DNN优化技术:神经网络算法简介之数据训练优化[mini-batch技术+etc] 目录 1.mini-batch技术输出结果实现代码 1.mini-batch技术输出结果实现代码 # ...
【机器学习基础】半监督算法概览(Python)
前言前阶段时间梳理了机器学习开发实战的系列文章: 1.Python机器学习入门指南(全) 2.Python数据分析指南(全) 3.一文归纳Ai数据增强之法 4.一文归纳Python特征生成方法(全) ...
k-means算法简介
k-means算法简介文章目录 k-means算法简介一.什么是k-means 二.k-means算法的步骤三.k-means性能评估指标四.k-means的使用 4.1 相关API 4.2 ...
聚类算法（无监督算法）
一.聚类算法简介聚类的基本思想:对于给定的M个样本的数据集,给定聚类(簇)的个数K(K<M),初始化每个样本所属的类别,再根据一定的规则不断地迭代并重新划分数据集的类别(改变样本与簇的类别关系 ...
机器学习与数据挖掘，机器学习算法简介
什么是数据挖掘数据挖掘就是从大量的数据中去发现有用的信息,然后根据这些信息来辅助决策.听起来是不是跟传统的数据分析很像呢?实际上,数据挖掘就是智能化的数据分析,它们的目标都是一样的.但是,又有很大 ...
时间序列分类算法_时间序列分类算法简介
时间序列分类算法 A common task for time series machine learning is classification. Given a set of time serie ...
数据结构与算法：算法简介
数据结构与算法:算法简介雪柯大工生物信息提笔为写给奋进之人已关注你说呢 . shenwei356 等 70 人赞同了该文章引用自算法图解,作者[美] Aditya Bhargava 译袁国 ...
hash算法_一致性hash算法简介
一致性hash算法有什么用?我们为什么需要一致性hash算法?这两个问题的答案可以看这篇文章分布式系统路由算法简介. 了解了一致性hash算法出现的背景,我们来看看什么是一致性hash算法.一致性h ...
LeCun预言的自监督模型来了：首个多模态高性能自监督算法，语音、图像文本全部SOTA...
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达来自:机器之心人类似乎对不同的学习模式有着相似的认知,机器也应该如此! 自监督学习能 ...
Minimax 和 Alpha-beta 剪枝算法简介，及以此实现的井字棋游戏（Tic-tac-toe）
前段时间用 React 写了个2048 游戏来练练手,准备用来回顾下 React 相关的各种技术,以及试验一下新技术.在写这个2048的过程中,我考虑是否可以在其中加入一个 AI 算法来自动进行游戏, ...

DINO 自监督算法简介

Emerging Properties in Self-Supervised Vision Transformers

DINO 自监督算法简介相关推荐

最新文章

热门文章