Class Activation Mapping(CAM)介绍

CAM是什么？

CAM全称Class Activation Mapping，即类别激活映射图，也称为类热力图、显著性图等。我们可以理解为图像中的信息对预测结果的贡献排名，分数越高（颜色越“热”）的地方表示在输入图片中这块区域对网络的响应越高、贡献越大，也就是吸引网络注意力的地方！

如何生成CAM

CNN的操作可以看做是滤波器对图片进行特征提取，我们可以大胆直接的得出结论，被一层层卷积核提取后，基本就是卷积核判断是重要的信息，其值越大，特征越明显，得到卷积的关注度就越高。

一个深层的卷积神经网络，通过层层卷积操作，提取出语义信息和空间信息，我们一直都很希望可以打破深度神经网络的黑盒，可以溯源特征提取的过程，甚至可以知道特征所代表的语义内容，通常每一层的特征图还会有很多的层，我们一般用channel表示，这些不同层（通道）特征图，我们可以认为理解为存放着卷积提取到不同的特征。随着卷积的逐层深入，该特征已经失去了原有的空间信息和特征信息，被进一步的集成压缩为具有高度抽象性的特征图。这些特征图所代表的语义信息我们不得而知，但是这些特征图的重要性我们却可以通过计算得出。所以我们的CAM主要作用就是根据不同通道的贡献情况，融合出一张CAM图，那么我们就可以更直观的了解到在图像中那些部分是在CNN中是高响应的重要信息，哪些信息是无关紧要的无聊信息。

CAM获取的步骤如下：

setp1：选择可视化的特征层，例如尺寸为 16∗16∗1024 的特征图。
step2：获取该特征的每个channel的权重，即长度为1024的向量。
step3：通过线性融合的方式，把不同channel的权重赋回原特征图中，在依次的将各个通道的特征图线性相加，获取尺寸为16*16的新特征图。
step4：对该新特征图进行归一化，并通过插值的方式还原到原图尺寸。

参考链接：https://mp.weixin.qq.com/s/cmQFXk2Eyqy0dxnu2b-dmw