来源：专知
本文为论文，建议阅读5分钟
我们提出了统一自监督视觉预训练（UniVIP）

论文标题：UniVIP: A Unified Framework for Self-Supervised Visual Pre-training

论文链接：https://arxiv.org/abs/2203.06965

作者单位：中国科学院自动化研究所 & 商汤科技 & 南洋理工大学

自监督学习 (SSL) 有望利用大量未标记的数据。然而，流行的 SSL 方法的成功仅限于像 ImageNet 中的单中心对象图像，并且忽略了场景和实例之间的相关性，以及场景中实例的语义差异。为了解决上述问题，我们提出了统一自监督视觉预训练（UniVIP），这是一种新颖的自监督框架，用于在单中心对象或非标志性数据集上学习通用视觉表示。该框架考虑了三个层次的表示学习：1）场景-场景的相似性，2）场景-实例的相关性，3）实例的判别。在学习过程中，我们采用最优传输算法来自动测量实例的区分度。大量实验表明，在非标志性 COCO 上预训练的 UniVIP 在图像分类、半监督学习、对象检测和分割等各种下游任务上实现了最先进的传输性能。此外，我们的方法还可以利用 ImageNet 等单中心对象数据集，并且在线性探测中使用相同的预训练 epoch 时比 BYOL 高 2.5%，并且在 COCO 数据集上超越了当前的自监督对象检测方法，证明了它的普遍性和潜在性能。

【CVPR2022】UniVIP：自监督视觉预训练的统一框架相关推荐

  1. Dense Contrastive Learning for Self-Supervised Visual Pre-Training(基于密集对比学习的自我监督视觉预训练)2021

    最前面是论文翻译,中间是背景+问题+方法步骤+实验过程,最后是文中的部分专业名词介绍(水平线分开,翻译word文件可以找我要,能力有限,部分翻译可能不太准确) 摘要: 迄今为止,大多数现有的自监督学习 ...

  2. 《预训练周刊》第9期：TABBIE：表格数据的预训练表示、「视觉预训练神作」：不用图片却训出图像识别SOTA？...

    No.09 智源社区 预训练组 预 训 练 研究 观点 资源 活动 关于周刊 超大规模预训练模型是当前人工智能领域研究的热点,为了帮助研究与工程人员了解这一领域的进展和资讯,智源社区整理了第9期< ...

  3. 4项探索+4项实践，带你了解华为云视觉预训练研发技术

    摘要:本文主要讲述云原生时代华为云在AI基础研究.视觉预训练模型研发和行业实践,以及AI开发平台ModelArts的最新进展. 近日,在Qcon全球软件开发大会(深圳站)上,华为云人工智能领域首席科学 ...

  4. 通用视觉预训练大模型巡礼系列（一）：UFO大模型

    ©PaperWeekly 原创 · 作者 | 张燚钧 单位 | 中国移动云能力中心 研究方向 | 预训练大模型 近来,以 ChatGPT 为代表的自然语言对话大模型,以及以 Stable Diffus ...

  5. 为什么无监督的预训练可以帮助深度学习

    本篇文章主要是review Dumitru Erhan∗,Yoshua Bengio,Aaron Courville,Pierre-Antoine Manzagol 在2010年发表的<why ...

  6. 新一代人工智能院士高峰论坛-视觉预训练大模型及其在智慧城市中的应用分论坛顺利举办

    2021年12月20日,新一代人工智能院士高峰论坛-视觉预训练大模型及其在智慧城市中的应用分论坛在深圳市人才研修院成功举办.  该论坛由鹏城实验室视觉智能研究所主办,邀请了企业界和学术界的技术大咖和资 ...

  7. 论文浅尝 - ICLR2020 | Pretrained Encyclopedia: 弱监督知识预训练语言模型

    论文笔记整理:陈想,浙江大学博士,研究方向为自然语言处理,知识图谱. Wenhan Xiong, Jingfei Du, William Yang Wang, Veselin Stoyanov.Pre ...

  8. 达摩院开源预训练数据微调框架UOT NeurIPS论文深入解读

    一.论文 论文链接: Improved Fine-Tuning by Better Leveraging Pre-Training Data 代码链接:https://github.com/ziqua ...

  9. 超越ImageNet预训练，Meta AI提出SplitMask，小数据集也能自监督预训练

    ©作者 | 陈萍 来源 | 机器之心 大规模数据集对自监督预训练是必要的吗?Meta AI 认为,小数据集也能自监督预训练,效果还不错. 目前,计算机视觉神经网络被大量参数化:它们通常有数千万或数亿个 ...

最新文章

  1. mfc怎么计算字符串宽度_Python基础之好玩的字符串格式化f-string格式
  2. Android插件化开发基础之静态代理模式
  3. 我结婚了，我要用什么做个邀请函呢？【iVX无代码YYDS 06】
  4. java 多线程单例模式
  5. 计算机辅助几何设计等值曲线,中国科学技术大学硕士专业：计算机辅助几何设计...
  6. 利用Powergui进行FFT Analysis，信号源为空解决方法
  7. 报表工具都支持哪些数据源类型？
  8. java实现银行卡卡号 Luhm 校验算法
  9. BGP双平面实验---bgp的选路
  10. 语言教案 小小计算机,大班语言小小播音员游戏教案
  11. TMI 202106论文汇总(IEEE Transactions on Medical Imaging)
  12. Markdown pad2 使用本地图片
  13. Format_String_Attack_Lab
  14. css 选父元素,CSS中模拟父元素选择器
  15. 微商和微信营销遇到的问题 转载
  16. android自动微信支付平台,Android实现微信支付功能
  17. 推荐系统论文笔记---Neural News Recommendation with Attentive Multi-View Learning
  18. 共享池,java池,大型池,PGA,SGA 笼统概念
  19. EMQX（emqtt）安装错误：Required dependencies: openssl-1.1.1 (libcrypto), libncurses and libatomic1安装openssl
  20. 时间管理专题_软件篇01

热门文章

  1. mysql 存储过程月单拆天单_MySQL之存储过程按月创建表
  2. webpack打包缓存_【第835期】Webpack 的静态资源持久缓存
  3. run cuda samples ubuntu_NVIDIA cuDNN v8 deb方法安装教程(Linux/Ubuntu)
  4. 云计算Python自动化运维开发实战 三、python文件类型
  5. Rabbitmq 消息对列 生产者与消费者的具体实现 springboot
  6. SQL SERVER 性能优化四： 创建分区表
  7. Html5 Json应用
  8. angularJs 前端的页面分解与组装
  9. [react native] navigator过渡卡顿问题
  10. 应用热启动（Ctrl+Alt+Delete）在显示频中进行监控的应用