本文首发自【简书】作者【西北小生_】的博客，转载请私聊作者！
图1 CAM实现示意图
一、什么是CAM？
CAM的全称是Class Activation Mapping或Class Activation Map，即类激活映射或类激活图。
论文《Learning Deep Features for Discriminative Localization》发现了CNN分类模型的一个有趣的现象：
CNN的最后一层卷积输出的特征图，对其通道进行加权叠加后，其激活值（ReLU激活后的非零值）所在的区域，即为图像中的物体所在区域。而将这一叠加后的单通道特征图覆盖到输入图像上，即可高亮图像中物体所在位置区域。如图1中的输入图像和输出图像所示。
该文章作者将实现这一现象的方法命名为类激活映射，并将特征图叠加在原始输入图像上生成的新图片命名为类激活图。
二、CAM有什么用？
CAM一般有两种用途：
- 可视化模型特征图，以便观察模型是通过图像中的哪些区域特征来区分物体类别的；
- 利用卷积神经网络分类模型进行弱监督的图像目标定位。
第一种用途是最直接的用途，根据CAM高亮的图像区域，可以直观地解释CNN是如何区分不同类别的物体的。
对于第二种用途，一般的目标定位方法，都需要专门对图像中的物体位置区域进行标注，并将标注信息作为图像标签的一部分，然后通过训练带标签的图像和专门的目标定位模型才能实现定位，是一种强监督的方法。而CAM方法不需要物体在图像中的位置信息，仅仅依靠图像整体的类别标签训练分类模型，即可找到图像中物体所在的大致位置并高亮之，因此可以作为一种弱监督的目标定位方法。
三、CAM原理
图2 输出结构示意图
如图2所示，CNN最后一层卷积层输出的特征图是三维的：[C, H, W ]，设特征图的第
其中
表示特征图的每个输出通道首先被平均为一个值，
个通道得到
个值，然后这些值再被加权相加得到一个数，这个数就是第
类的置信分数，表征着输入图像的类别是
的可能性大小。
表示首先对特征图的每个通道进行加权求和（
），得到一个二维的特征图（通道维坍塌），然后再对这个二维特征图求平均值，得到第
类的置信分数。
由公式(1)的推导可知，先对特征图进行全局平均池化，再进行加权求和得到类别的置信分数，等价于先对特征图进行通道维度的加权求和，再进行全局平均池化。
经过这一等价变换，就突显了特征图通道加权和的重要性了：一方面，特征图的通道加权和直接编码了类别信息；另一方面，也是最重要的，特征图的通道加权和是二维的，还保留着图像的空间位置信息。我们可以通过可视化方法观察到图像中的相对位置信息与CNN编码的类别信息的关系。
这里的特征图的通道加权之和就叫做类别激活图。
四、CAM的PyTorch实现
本文以PyTorch自带的ResNet-18为例，分步骤讲解并用代码实现CAM的整个流程和细节。
1.准备工作
首先导入需要用到的包：
import math
import torch
from torch import Tensor
from torch import nn
import torch.nn.functional as F
from typing import Optional, List
import torchvision.transforms as transforms
from PIL import Image
import torchvision.models as models
from torch import Tensor
from matplotlib import cm
from torchvision.transforms.functional import to_pil_image
定义输入图片路径，和保存输出的类激活图的路径：
img_path = '/home/dell/img/1.JPEG' # 输入图片的路径
save_path = '/home/dell/cam/CAM1.png' # 类激活图保存路径
定义输入图片预处理方式。由于本文用的输入图片来自ILSVRC-2012验证集，因此采用PyTorch官方文档提供的ImageNet验证集处理流程：
preprocess = transforms.Compose([transforms.Resize(256),
transforms.CenterCrop(224),
transforms.ToTensor(),
transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])])
2.获取CNN最后一层卷积层的输出特征图
本文选用的CNN模型是PyTorch自带的ResNet-18，首先导入预训练模型：
net = models.resnet18(pretrained=True).cuda() # 导入模型
由于特征图是模型前向传播时的中间变量，不能直接从模型中获取，需要用到PyTorch提供的hook工具，补课请参考我的这两篇博客：hook1，hook2。
通过输出模型（print(net)）我们就能看到ResNet-18输出最后一层特征图的层为net.layer4(或者net.layer4[1]、net.layer4[1].bn2都可)。我们用hook工具注册这一层，以便获得它的输出特征图：
feature_map = [] # 建立列表容器，用于盛放输出特征图
def forward_hook(module, inp, outp): # 定义hook
feature_map.append(outp) # 把输出装入字典feature_map
net.layer4.register_forward_hook(forward_hook) # 对net.layer4这一层注册前向传播
做好了hook的定义和注册工作，现在只需要对输入图片进行预处理，然后执行一次模型前向传播即可获得CNN最后一层卷积层的输出特征图：
orign_img = Image.open(img_path).convert('RGB') # 打开图片并转换为RGB模型
img = preprocess(orign_img) # 图片预处理
img = torch.unsqueeze(img, 0) # 增加batch维度 [1, 3, 224, 224]
with torch.no_grad():
out = net(img.cuda()) # 前向传播
这时我们想要的特征图已经装在列表feature_map中了。我们输出尺寸来验证一下：
In [10]: print(feature_map[0].size())
torch.Size([1, 512, 7, 7])
3.获取权重
CAM使用的权重是全连接输出层中，对应这张图像所属类别的权重。文字表述可能存在歧义或不清楚，直接看本文最上面的图中全连接层被着色的连接。可以看到，每个连接对应一个权重值，左边和特征图的每个通道（全局平均池化后）一一连接，右边全都连接着输出类别所对应的那个神经元。
由于我也不知道这张图的类别标签，这里假设模型对这张图像分类正确，我们来获得其输出类别所对应的权重：
cls = torch.argmax(out).item() # 获取预测类别编码
weights = net._modules.get('fc').weight.data[cls,:] # 获取类别对应的权重
4.对特征图的通道进行加权叠加，获得CAM
cam = (weights.view(*weights.shape, 1, 1) * feature_map[0].squeeze(0)).sum(0)
这里的代码比较简单，扩充权重的维度（[512, ][512, 1, 1]）是为了使之在通道上与特征图相乘；去除特征图的batch维（[1, 512, 7, 7]
[512, 7, 7]）是为了使其维度和weights扩充后的维度相同以相乘。最后在第一维（通道维）上相加求和，得到一个
的类激活图。
5.对CAM进行ReLU激活和归一化
这一步有两个细节需要注意：
- 上步得到的类激活图像素值分布杂乱，要想确定目标位置，须先进行ReLU激活，将正值保留，负值置零。像素值正值所在的（一个或多个）区域即为目标定位区域。
- 上步获得的激活图还只是一个普通矩阵，需要变换成图像规格，将其值归一化到[0,1]之间。
我们首先定义归一化函数：
def _normalize(cams: Tensor) -> Tensor:
"""CAM normalization"""
cams.sub_(cams.flatten(start_dim=-2).min(-1).values.unsqueeze(-1).unsqueeze(-1))
cams.div_(cams.flatten(start_dim=-2).max(-1).values.unsqueeze(-1).unsqueeze(-1))
return cams
然后对类激活图执行ReLU激活和归一化，并利用PyTorch的 to_pil_image函数将其转换为PIL格式以便下步处理：
cam = _normalize(F.relu(cam, inplace=True)).cpu()
mask = to_pil_image(cam.detach().numpy(), mode='F')
将类激活图转换成PIL格式是为了方便下一步和输入图像融合，因为本例中我们选用的PIL库将输入图像打开，选用PIL库也是因为PyTorch处理图像时默认的图像格式是PIL格式的。
6.将类激活图覆盖到输入图像上，实现目标定位
这一步也有很多细节需要注意：
- 上步得到的类激活图只有
的尺寸，想要将其覆盖在输入图像上显示，就需将其用插值的方法扩大到和输入图像相同大小。
- 我们的目的是用类激活图中被激活（非零值）的位置区域，来高亮原始图像中相应的位置区域，这一高亮的方法就是将激活图变换为热力图的形式：值越大的像素颜色越红，值越小的像素颜色越蓝。
- 如果直接将热力图覆盖到原始输入图像上，会遮蔽图像中的内容导致不容易观察，因此需要设置两个图像融合的比例（透明度），即在两种图像融合在一起时，将原始输入图像的像素值权重设置大一些，而把热力图的像素值权重设置小一些，这样就会使生成图像中原始输入图像的内容更加清晰，易于观察。（mixup方法同理）
- 两种图像融合后的像素值会超出图像规格像素值的范围[0,1]，因此还需要将其转换为图像规格。
我们将两个图像交叠融合的过程封装成了函数：
def overlay_mask(img: Image.Image, mask: Image.Image, colormap: str = 'jet', alpha: float = 0.6) -> Image.Image:
"""Overlay a colormapped mask on a background image
Args:
img: background image
mask: mask to be overlayed in grayscale
colormap: colormap to be applied on the mask
alpha: transparency of the background image
Returns:
overlayed image
"""
if not isinstance(img, Image.Image) or not isinstance(mask, Image.Image):
raise TypeError('img and mask arguments need to be PIL.Image')
if not isinstance(alpha, float) or alpha < 0 or alpha >= 1:
raise ValueError('alpha argument is expected to be of type float between 0 and 1')
cmap = cm.get_cmap(colormap)
# Resize mask and apply colormap
overlay = mask.resize(img.size, resample=Image.BICUBIC)
overlay = (255 * cmap(np.asarray(overlay) ** 2)[:, :, 1:]).astype(np.uint8)
# Overlay the image with the mask
overlayed_img = Image.fromarray((alpha * np.asarray(img) + (1 - alpha) * overlay).astype(np.uint8))
return overlayed_img
接下来就是激动人心的时刻了！！！将类激活图作为掩码，以一定的比例覆盖到原始输入图像上，生成类激活图：
result = overlay_mask(orign_img, mask)
这里的变量result已经是有着PIL图片格式的类激活图了，我们可以通过：
result.show()
可视化输出，也可以通过：
result.save(save_path)
将图片保存在本地查看。我们在这里展示一下输入图像和输出定位图像的对比：
（左）输入图像；（右）定位图像
网友评论