对比学习学到了什么？（交流帖）

前言：前段时间在某厂进行算法实习，主要内容是如何将对比学习引入到推荐算法中去。再次期间我们调研了大量的cv领域的对比学习方法以及少数的对比学习应用在推荐中的文章，虽然也在前人的经验上提出了一些新的东西，但是这些新的东西仅仅只是对对比学习中的一些流程进行了修改，并没有去深入思考对比学习到底学到了什么？他对不管是cv还是推荐具体有什么样的作用？目前通过学习了解到其作用也仅仅是如下几个：1. 对比学习隶属于自监督，本质上输入的样本其实是没有标签的，而通过数据增强操作可以增加样本数量来优化模型性能。2. 通过对比学习损失使相近的样本在投影空间的距离更相近，这样也能提升模型性能。但是对于以上提到的作用仅仅只是在解释使用了对比学习的模型为什么会有性能的提升，但是对比学习究竟学到了什么呢？

目前的一些对比学习方法

目前的对比学习框架最早来源于SimCLR模型，网上有甚多介绍SimCLR模型的文章，此处也不再赘述其模型具体的细节，可以参考张俊林先生的知乎文章。SimCLR总体来说其实是分为三个步骤的，1.数据增强。2.ENCODER。3.对比学习loss。如图所示：

后续也有一些研究在simCLR框架下改进了数据增强方法，以及对比方法loss中的正负样本数量。具体方法请自行查找。
接下来推荐中也用到了对比学习方法，谷歌引用了simCLR框架，并结合推荐数据的特性更改了数据增强方式并提出了一种应用在召回中的自监督算法。如下：

该方法主体采用的是双塔模型，然后又构建了一个对比学习的方法优化item塔。但是文中也并没有说明引入自监督方法到底能学习到什么（可能是我没有太仔细看），但是整体上在引入对比学习后有了较大的性能提升。
最近基于图神经网络的推荐也引入了对比学习，如何向南老师团队的SGL方法。如下：

不难发现，SGL整体沿用了simCLR的框架流程，只不过针对GNN将数据增强方式等进行了替换。

目前的改进策略

因为我仅仅进行了短时间的调研，所以接触的基本上都是基于simCLR框架进行修改的算法，总体来说有以下几个方面：

对数据增强方式的修改：以推荐举例，不管是上面的谷歌提出的方法还是之前看到的阿里的对比学习在推荐中的应用，首先都是针对数据增强进行了修改，都结合当前的任务模型，如序列推荐等，根据自身的数据格式进行不同数据增强方式，比如截取长序列的部分数据等。
最近有点忙。。。待续