Siamese网络最大化了一个图像的两个增强之间的相似性，服从于避免崩溃解的某些条件。在本文中，SimSiam即使不使用以下任何一项也可以学习有意义的表示:(i)负样本对，(ii)大批量，(iii)动量编码器。我们的实验表明，停止梯度stop-gradient 运算在防止崩塌中起着重要作用。
Siamese 网络是应用于两个或多个输入的 权重共享 神经网络。它们是 比较(包括但不限于“对比”)实体的自然工具。最近的方法将输入定义为一幅图像的两个增强，并根据不同的条件 最大化相似性。我们的模型直接最大化了一张图像的两个增强视图的相似性，既不使用负对，也不使用动量编码器。 它适用于典型的批量大小，不依赖于大批量训练。停止梯度操作（图 1）对于防止崩溃解决方案至关重要。我们假设隐含着两组变量，而 SimSiam 的行为就像在优化每组变量之间交替进行。权重共享的Siamese网络可以对关于更复杂的转换（例如，增强）的不变性进行建模。
在实践中，对比学习方法受益于大量的负样本[34,33,17,8]。这些样本可以保存在记忆库memory bank中[34]。在 Siamese 网络中，
·MoCo [17] 维护一个负样本队列，并将一个分支变成动量编码器，以提高队列的一致性。 
       ·在SimCLR [8]中实例化的，排斥不同的图像(负对)，同时吸引同一图像的两个视图(正对)。负对 排除了来自解空间的恒定输出。SimCLR 直接使用当前批次中共存的负样本，并且需要较大的批次大小才能正常工作。
·除了对比学习和聚类之外，BYOL [15] 仅依赖于正对，但在使用动量编码器的情况下它不会崩溃。BYOL直接从另一个视图预测一个视图的输出。它是一个Siamese网络，其中一个分支是动量编码器。我们发现停止梯度操作至关重要。虽然移动平均行为可以通过适当的动量系数提高准确性，但 我们的实验表明它与防止塌陷没有直接关系。
MoCo和 BYOL 不直接共享两个分支之间的权重，我们将这些模型视为具有“间接”权重共享的连体网络。
SimSiam、SimCLR [8] 和 SwA V [7]都是直接共享权重的Siamese网络，但 SimCLR 和 SwAV都需要大批量（例如 4096）才能正常工作。
对比学习[16]的核心思想是吸引正样本对并排斥负样本对。
·无监督表示学习的另一类方法是基于聚类[5,6,1,7]。他们在对表示进行聚类和学习预测聚类分配之间交替进行。 SwAV [7] 通过从一个视图计算分配并从另一个视图预测它，将聚类合并到一个Siamese网络中。与对比学习一样，基于聚类的方法需要内存库 [5, 6, 1]、大批量 [7] 或队列 [7] 来为聚类提供足够的样本。
当批次太大时（即使在监督学习中），标准 SGD 优化器效果不佳。我们期望一个专门的优化器（例如，LARS [36]）在这种情况下会有所帮助。但是，我们的结果表明，不需要专门的优化器来防止崩溃。
总之，我们观察到 BN 在适当使用时有助于优化，这类似于 BN 在其他监督学习场景中的行为。但是我们没有看到任何证据表明 BN 有助于防止崩溃。
这表明崩溃预防行为不仅仅与余弦相似度有关，也不依赖于对称。对称化有助于提高准确性，但与防止塌陷无关。
在所有情况下，SimSiam都比 SimCLR 有更好的结果。
表5中的这些方法的共同结构是Siamese网络。这种比较表明，Siamese结构是他们普遍成功的核心因素。
与其他无监督方法的关系：
1.SimCLR 依靠负样本（“差异性”）来防止崩溃。 SimSiam 可以被认为是“没有负样本的 SimCLR”。
2.SimSiam 在概念上类似于“没有在线集群online clustering的SwAV”。
3.SimSiam 可以被认为是“没有动量编码器的 BYOL”，但存在许多实现差异。
最近方法的Siamese形状可能是其有效性的核心原因。Siamese网络是用于建模不变性的自然而有效的工具，这是表示学习的重点。我们希望我们的研究能够引起对Siamese网络在表征学习中的基本作用的关注。

SimSiam：Exploring Simple Siamese Representation Learning相关推荐

  1. Exploring Simple Siamese Representation Learning论文笔记

    写在前面 大三狗随手记录,不喜勿喷. 主要思想 Siamese network常常被用来计算图像的两个增强之间的相似性,但可能会造成模型坍塌(即输出恒定).作者在本文提出了一个非常简单的Simple ...

  2. 对比学习simSiam（一）--Exploring Simple Siamese Representation Learning总体理解

    1.从名字上把握 sim是我们熟知的相似的那个单词,这个Siam是孪生的意思,这里使用这个来命名应该是为了指出孪生的重要性.这里的核心其实是在提出一个思想,对比学习这种由孪生网络结构构成的无监督学习的 ...

  3. 深度学习(自监督:SimSiam)——Exploring Simple Siamese Representation Learning

    文章目录 前言 SimSiam简述 实验 前言 该文章是何凯明组发表于CVPR2021上的文章,目前已获得最佳论文提名,主要解决自监督对比学习中的奔溃解问题.奔溃解即不论什么输入,特征提取器输出的特征 ...

  4. Kaiming He论文阅读笔记三——Simple Siamese Representation Learning

    Kaiming He大神在2021年发表的Exploring Simple Siamese Representation Learning,截至目前已经有963的引用,今天我们就一起来阅读一下这篇自监 ...

  5. 论文解读：Exploring Graph-structured Passage Representation for Multi-hop Reading Comprehension with Grap

    论文解读:Exploring Graph-structured Passage Representation for Multi-hop Reading Comprehension with Grap ...

  6. ICLR 2023：基于 diffusion adversarial representation learning 的血管分割

    ICLR 2023:基于 diffusion adversarial representation learning 的血管分割 目录 前言 概述 DDPM switchable SPADE laye ...

  7. （ContrastiveCrop）Crafting Better Contrastive Views for Siamese Representation Learning

    用在: 对比学习方法的孪生网络(Siamese network)的架构,如何选取作为孪生网络输入的训练样本对? 为什么提出(原来裁剪存在的问题)?:在对比学习中,随机裁剪可能会生成错误的正样本对(如图 ...

  8. ICML 20： MVGRL Contrastive Multi-View Representation Learning on Graphs

    talk 这篇文章是 图对比学习中 常会比较的一篇文章. 原论文中的数据都存在问题,由于dgl的数据集问题,很多人无法在cora复现出86.大多结果都在82-83.文章核心采用 ppnp来进行 视图生 ...

  9. Simple Siamese

    Exploring Simple Siamese Representation Learning 浅谈一下对该论文的理解: 作者认为,孪生体系结构可能是相关方法(BYOL MOCO SIMclr)共同 ...

最新文章

  1. MVC已经死了，接下来会发生什么？
  2. 别再被 Python 洗脑了！！
  3. Matlab画图时的线型、标记以及颜色简记
  4. 【数据】短视频识别，都有那些行业标准？
  5. 每天一道LeetCode-----计算直方图中最大矩形的面积
  6. 学习Spring Boot：（十七）Spring Boot 中使用 Redis
  7. improve怎么加ing_雅思写作7分秘籍：Niko原创大作文写作机经教你怎么得高分！
  8. 新计算机主板不亮,电脑组装完毕之后点不亮怎么办 新电脑组装好开不了机的解决办法...
  9. Vue中的join(),reverse()与 split()函数
  10. UNIQLO 11月销售额逆市上涨7.9％
  11. 学习JSP大学实用教程
  12. Origin: 软件申请+续期指引
  13. [转]51汇编指令集详解()
  14. Hulu2022校招 | 笔试真题及解法揭秘
  15. openresty实现隧道代理
  16. mybaitis-plus 持久层高效开发, 懒人神器
  17. “十三五”电力科技重大发展方向及关键技术
  18. 水浒歪传--郭德纲相声
  19. 求一段字符串内最长的非空子字符串的长度（实例）
  20. Processing 网格纹理制作（棋盘格）

热门文章

  1. Python networkx库
  2. Gstreamer学习笔记（4）：pad定义、连接、流动
  3. 易飞ERP单据自动审核程序
  4. 基于STM32的温度遥测系统
  5. 微信小程序自驾游拼团+后台管理系统SSM-JAVA【数据库设计、论文、源码、开题报告】
  6. 地理入门-经纬度时区速成总结篇
  7. fiddler app https抓包
  8. MCS-EMP电磁铁平台温度选项
  9. C小程序-将输入的数字转换成大写汉字
  10. 阿里云SLS可视化编码