原论文链接：https://arxiv.org/pdf/1807.03748.pdf

本文若有讲述错误或不妥之处，欢迎大佬在评论区纠正！

论文总览

论文详细解读

1. 论文的motivation

为了学习高维数据之间的潜在共享信息(slow features)
生成式模型计算量太大，且学习到的很多特征都是特定模式下的特征

所以我们不应该直接学习后验概率 $p(x|c)$ (其中 $x$ 是当前的输入， $c$ 是上下文)，而是应该将 $x$ 和 $c$ 嵌入到更加紧凑分布的空间(a compact distributed vector representations)中，并最大化保留 $x$ 和 $c$ 之间的互信息 $MI$ ：

$I(x;c) = \sum_{x,c}^{}p(x,c)log\frac{p(x|c)}{p(x)}$

2. 论文的architecture

包含两个主要结构：非线性编码器 $g_{enc}$ 和自回归编码器 $g_{ar}$

非线性编码器 $g_{enc}$

可以是任何CNN/Transformer类型网络，将每个输入都映射到隐空间(即上面提到的compact distributed space)生成特征向量:

$z_{t} = g_{enc}(x_{t})$

自回归编码器 $g_{ar}$

可以是任何RNN类型网络，将前 $t$ 个输入映射的特征向量进行信息汇聚(summarize)生成上下文特征向量:

$c_{t} = g_{ar}(z_{\leqslant t})$

损失函数 $loss$

互信息转化

将上述的互信息转化为简单的双线性对数函数:

$f_{k}(x_{t+k}, c_{t}) = exp(z_{t+k}^{T}W_{k}c_{t}) \propto \tfrac{p(x_{t+k}|c_{t})}{p(x_{t+k})}$

InfoNCE loss

给定数据集 $X$ (包含 1 个正样本和 N-1 个负样本)，可以求得损失函数为:

$L_{N} = - E_{X}[log\tfrac{f_{k}(x_{t+k}, c_{t})}{\sum_{x_{j}\in X}^{}f_{k}(x_{j}, c_{t})}]$

可以证明最小化 InfoNCE loss就等于最大化 $MI$

整体过程

首先前 $t$ 个数据经过 $g_{enc}$ 和 $g_{ar}$ 编码生成 $\left \{ z_{1}, ..., z_{t} \right \}$ 和 $c_{t}$ ；
对于往后的输入数据 $x_{t+k}$ , 先进入 $g_{enc}$ 生成 $z_{t+k}$ ,然后将 $c_{t}$ 线性映射成 $W_{k}c_{t}$ (作为对 $z_{t+k}$ 的预测)。注意：这里的 $W_{k}$ 对于每一个 $k$ 都是不同的(即 $t$ 之后的每个时间步都不同)
最后将 $z_{t+k}$ 和 $W_{k}c_{t}$ 带入 InfoNCE 进行互信息计算，然后 BP 更新 $g_{enc}$ 和 $g_{ar}$ 参数

3. 论文的experiment(图像方面)

由于我本身更多混迹在CV领域，所以重点讲解CPC如何在图像上操作(仅仅是一些重要操作).

对于 $g_{enc}$ ，论文使用 ResNet v2 101 (没有使用 $BN$ )；对于 $g_{ar}$ ，论文使用 PixelCNN-style AR model(感兴趣的大佬可以了解一下)；
他们将每个图片分成 7x7 格(当然还有一系列变换，这里不细讲)，每格作为一个数据 $x_{t}\left \{ t\in \left \{ 1,...,49 \right \} \right \}$ (从左上到右下按顺序展开)，变成一个序列，然后送入CPC进行训练；
论文中最多预测 5 行(35格)，即最少有2行(14格)作为 $x_{t}$ 之前的数据进行提取 $\left \{ z_{1}, ..., z_{t} \right \}$ 和 $c_{t}$ ，不进行互信息计算

个人总结

CPC作为一个通用架构，泛化性还是很强的，在多种模态下都可以使用，并可以根据任务不同侧重使用 $z_{t}$ 或 $c_{t}$ 作为下游任务的特征输入. 但是CPC依旧是偏 generative 式的模型，它通过 $c_{t}$ 对 $z_{t+k}$ 进行预测生成 $W_{k}c_{t}$ ，然后才计算互信息，对于计算量要求还是比较大.

CPC (Contrastive Predictive Coding)相关推荐

论文阅读《Representation learning with contrastive predictive coding 》（CPC）对比预测编码
论文地址:Representation Learning with Contrastive Predictive Coding 目录一.Background(背景) 二.Motivation and ...
对比学习系列论文CPC（二）—Representation Learning with Contrastive Predictive Coding
0.Abstract 0.1逐句翻译 While supervised learning has enabled great progress in many applications, unsupe ...
对比学习系列论文CPCforHAR(一)：Contrastive Predictive Coding for Human Activity Recognition
0.Abusurt 0.1逐句翻译 Feature extraction is crucial for human activity recognition (HAR) using body-worn ...
深度学习热点|超直观无公式图解Contrastive Predictive Coding从脸盲说起
作者 | 得未曾有出品 | 对白的算法屋编者寄语: 通过对比学习来区分李沁和孙怡. Contrastive Learning (对比学习) 是这两年深度学习非常热的话题,可以说是刷新了很多人对无监 ...
预测性编码（Predictive Coding）简介
预测性编码(Predictive Coding)简介 Yanping Huang and Rajesh P. N. Rao 摘要预测性编码(Predictive Coding)是在神经系统中对认知冗 ...
HCSC: Hierarchical Contrastive Selective Coding
原型对比学习:图像表征与聚类中心之间的交互,可以简单总结为在表征空间中最大化图像特征与其所属的聚类中心的相似度. 分层语义结构自然存在于图像数据集中,其中几个语义相关的图 ...
Mockingjay: 基于双向Transformer编码的无监督语音表征学习
本次分享台湾大学李宏毅老师团队在ICASSP 2020会议发表的论文<MOCKINGJAY: UNSUPERVISED SPEECH REPRESENTATION LEARNING WITH D ...
CV领域的对比学习综述
对比学习发展历程发展历程大概可以分为四个阶段 1.百花齐放 InstDisc(instance discrimination) CPC CMC 在这个阶段中,方法.模型.目标函数.代理任务都还没有统 ...
对比学习（Contrastive Learning）综述
A.引入 https://zhuanlan.zhihu.com/p/346686467 A.引入深度学习的成功往往依赖于海量数据的支持,其中对于数据的标记与否,可以分为监督学习和无监督学习. 1 ...

CPC (Contrastive Predictive Coding)