信息融合之Add与Concat，你了解它们吗？

信息融合举例

特征融合目前有两种常用的方式，一种是addaddadd操作，这种操作广泛运用于ResNetResNetResNet与FPNFPNFPN中。一种是ConcatConcatConcat操作，这种操作最广泛的运用就是UNetUNetUNet，DenseNetDenseNetDenseNet等网络中。如下图所示：

也有如HRNetHRNetHRNet这样的，多分辨率之间使用addaddadd形式的特征融合。

代码演示

>>> import torch
>>> img1 = torch.randn(2, 3, 58, 58)
>>> img2 = torch.randn(2, 3, 58, 58)
>>> img3 = img1 + img2
>>> img4 = torch.cat((img1, img2), dim=1)
>>> img3.size()
torch.Size([2, 3, 58, 58])
>>> img4.size()
torch.Size([2, 6, 58, 58])
>>>

那么对于AddAddAdd操作与ConcatConcatConcat操作，它们中间有哪些区别与联系呢？

联系

addaddadd 和concatconcatconcat 形式都可以理解为整合多路分支featurefeaturefeature mapmapmap 的信息，只不过concatconcatconcat 比较直观(同时利用不同层的信息)，而addaddadd 理解起来比较生涩(为什么两个分支的信息可以相加？)。concatconcatconcat 操作时时将通道数增加，addaddadd 是特征图相加，通道数不变。

对于两路通入而言，其大小(H,WH, WH,W )是一样的。假设两路输入的通道分别为X1,X2,…XcX_{1}, X_{2}, … X_{c}X1,X2,…Xc， Y1,Y2,…YnY_{1}, Y_{2},…Y_{n}Y1,Y2,…Yn。

则对于ConcatConcatConcat的操作，通道数相同且后面带卷积的话，addaddadd等价于concatconcatconcat之后对应通道共享同一个卷积核。

当我们需要聚合的两个分支的FeatureFeatureFeature叫做XXX与YYY的时候，我们可以使用ConcatConcatConcat, 概括为：
Zout=∑i=1cXi∗Ki+∑i=1cYi∗Ki+cZ_{out}=\sum_{i=1}^{c} X_{i} * K_{i}+\sum_{i=1}^{c} Y_{i} * K_{i+c} Zout=i=1∑cXi∗Ki+i=1∑cYi∗Ki+c

对于addaddadd的操纵，可以概括为：
Zadd =∑i=1c(Xi+Yi)∗Ki=∑i=1cXi∗Ki+∑i=1cYi∗KiZ_{\text {add }}=\sum_{i=1}^{c}\left(X_{i}+Y_{i}\right) * K_{i}=\sum_{i=1}^{c} X_{i} * K_{i}+\sum_{i=1}^{c} Y_{i} * K_{i} Zadd =i=1∑c(Xi+Yi)∗Ki=i=1∑cXi∗Ki+i=1∑cYi∗Ki
因此，采用addaddadd操作，我们相当于加入一种先验。当两个分支的特征信息比较相似，可以用addaddadd来代替concatconcatconcat，这样可以更节省参数量。

区别

对于ConcatConcatConcat操作而言，通道数的合并，也就是说描述图像本身的特征增加了，而每一特征下的信息是没有增加。
对于addaddadd层更像是信息之间的叠加。这里有个先验，addaddadd前后的tensortensortensor语义是相似的。

结论

因此，像是需要将AAA与BBB的TensorTensorTensor进行融合，如果它们语义不同，则我们可以使用ConcatConcatConcat的形式，如UNetUNetUNet, SegNetSegNetSegNet这种编码与解码的结构，主要还是使用ConcatConcatConcat。

而如果AAA与BBB是相同语义，如AAA与BBB是不同分辨率的特征，其语义是相同的，我们可以使用addaddadd来进行融合，如FPNFPNFPN等网络的设计。

大家好，我是灿视。目前是位算法工程师 + 创业者 + 奶爸的时间管理者！

我曾在19，20年联合了各大厂面试官，连续推出两版《百面计算机视觉》，受到了广泛好评，帮助了数百位同学们斩获了BAT等大小厂算法Offer。现在，我们继续出发，持续更新最强算法面经。
我曾经花了4个月，跨专业从双非上岸华五软工硕士，也从不会编程到进入到百度与腾讯实习。
欢迎加我私信，点赞朋友圈，参加朋友圈抽奖活动。如果你想加入<百面计算机视觉交流群>，也可以私我。