怎样做一个产品营销方案,东莞关键词优化平台,设计企业网站首页,sem竞价托管代运营Attention Mechanisms in Computer Vision:A Survey
Attention Mechanisms in Computer Vision:A Survey论文 文章将近几年的注意力机制分为#xff1a;通道注意力、空间注意力、时间注意力和branch注意力#xff0c;以及两个组合注意力机制#xff1a;空间通道注意力机制和…Attention Mechanisms in Computer Vision:A Survey
Attention Mechanisms in Computer Vision:A Survey论文 文章将近几年的注意力机制分为通道注意力、空间注意力、时间注意力和branch注意力以及两个组合注意力机制空间通道注意力机制和时间空间注意力机制。
Channel attention
通道注意力机制讲解 SENet (squeeze and excitation)主要分为两部分squeeze和excitation模块。前者使用全局平均池化用来压缩通道将h×w×c特征图压缩为1×1×c再经过非线性激活和全连接变为对应于每个通道的一个乘数最后与输入特征图相乘。
GSoP-Net (Global second-order pooling) 下图就是GSoP模块的结构它类似于SE模块采用了squeeze-excitation两个步骤。squeeze操作是为了沿着输入张量的通道维度建模二阶统计信息。首先输入的 h ′ × w ′ × c ′ 的张量其实就是特征图首先通过1x1卷积降维到 h ′ × w ′ × c 然后通道之间两两之间计算相关性得到 c × c的协方差矩阵这个协方差矩阵意义鲜明第 i 行元素表明第 i 个通道和其他通道的统计层面的依赖。由于二次运算涉及到改变数据的顺序因此对协方差矩阵执行逐行归一化保留固有的结构信息。SENet使用GAP只获得了每个通道的均值限制了统计建模能力。
然后excitation模块对上面的协方差特征图进行非线性逐行卷积得到 4c的结构信息再用卷积调整到输入的通道数 c ′ 维度和输入进行逐通道相乘完成通道注意力。 GSoP-Net在压缩方式上做出了改变将SE-Net中的一维压缩形式改为Cov的二维压缩 SRM (sytel-based recalibration module) squeeze模块使用style pooling(SP)它结合了全局平均池化和全局标准差池化。如下图所示。输出为C × d 当只用全局平均池化就是C × 1 当用了全局平均池化和全局标准差池化就是C × 2 当用了全局平均池化和全局标准差池化和全局最大池化就是C × 3。
excitation模块与通道等宽的全连接层CFC(Channel-wise fully-connected layer) 含义通道维度由[ C , d ]变为[ C , 1 ]即对于每一个通道都有一个全连接层输入为d输出为1利用BN层和sigmoid函数(σ)得到C维注意力向量。 SRM在squeeze上采用SP池化在excitation上使用逐通道卷积相较于SE中的全连接层计算量较小可以安插在更多的位置上。 FcaNet (efficient channel attention): GAP也有不可忽略的问题那就是GAP没办法捕获丰富的输入表示这就导致了经过GAP得到的特征缺乏多样性这主要是因为GAP对一个通道所有空间元素取其均值而这个均值其实不足以表达不同通道的信息。作者对全局平均池化即GAP进行了理论上的分析最终得出如下结论首先不同的通道有极大概率出现相同的均值然而它们的语义信息是不同的换句话说GAP抑制的通道之间的多样性其次从频域角度来看作者证明了GAP其实是离散余弦变换DCT的最低频分量这其实忽略了很多其他有用的分量。 在这些结论的基础上作者设计了一种新的高效多谱通道注意力框架。该框架在GAP是DCT的一种特殊形式的基础上在频域上推广了GAP通道注意力机制提出使用有限制的多个频率分量代替只有最低频的GAP。 FcaNet从数学角度提出了GAP的不足之处并对其进行完善这点是十分可取的但是既然模块保留了全连接的形式那么它的计算复杂度就和SEnet不相上下了也就不可能大面积地出现在卷积操作之后。关于GAP是DCT的理论推导在FcaNet解读中。 ECA (efficient channel attention): 本文提出了一种用于深层CNN的有效通道注意ECA模块该模块避免了维度缩减并有效捕获了跨通道交互。在不降低维度的情况下进行逐通道全局平均池化之后我们的ECA通过考虑每个通道及其k个近邻来捕获本地跨通道交互 。pytorch实现代码如下所示 所以ECA的核心有两个根据输入通道C自适应变换的卷积核k和在excitation环节中的conv1d。k的公式如下所示决定卷积核大小的除了输入通道C还有两个超参数。另外是在上面的代码中conv1d相当于用k*1的卷积核对输入特征图进行逐行卷积。也即将每个通道和附近k个通道的信息进行整合。 ECA避免了SE excitation中的降维操作转而用conv1d卷积进行跨通道信息整合。只改变了excitation。提高了一定精度但是在计算复杂度上和SEnet和FcaNet相近。 GCT (Gated channel transformation): GCT模块包括三个部分global context embedding channel normalization, gating adaptation。三个步骤的公式如下图所示。具体原理参考GTC原理讲解。 squeeze模块在global context embedding中将(B,C,H,W)变成(B,C,1,1)。完成空间信息的压缩变为单纯的通道信息。并加入了可训练的α调整各通道的权重。 excitation模块在gating adaptation中引入β和γ来对各个通道进行区分用tanh进行激活。相较于SE的全连接层GCT各个通道的独立性更强表征也更明显。 GTC同时改进了squeeze和excitation尤其是在后者中取消了之前全连接或者卷积的激活方式采取了tanh激活整个结构的参数量更少。是最轻量化的可以放在每个卷积后面。 通道注意力机制总结
Spatial attention
空间注意力机制讲解
STN STN算法讲解 其实学过DCN后再看STN就不难理解了STN相当于是在两个特征图之间引入了空间变换缩放旋转等。具体流程分为三部分参数预测Localisation net、坐标映射Grid generator、像素的采集Sampler。 参数预测用于生成变换操作的矩阵以缩放为例。这一步的目的就是生成这个[[2,0],[0,2]]矩阵。 坐标映射是让目标图片在原图片上采样每次从原图片的不同坐标上采集像素到目标图片上而且要把目标图片贴满每次目标图片的坐标都要遍历一遍是固定的而采集的原图片的坐标是不固定的因此用这样的映射。也就是说坐标的映射关系是从目标图片映射到输入图片上的。 像素采集就类似于使用双线性插值来获取小数坐标的像素值。
self-attention and variants 自注意力机制详解 这篇博文从基本原理和矩阵运算的角度具体介绍了自注意力机制中K、Q、V的含义以及多头注意力机制的计算过程。 回到本篇论文上这部分的变体模块讲解得较为简略也不做过多研究了直接进入下一个。
Vision Transformers Transformers in computational visual media: A survey这篇文献中有关于机器视觉中的transformer用法。
GENet 这篇论文的解读资料很少目前只了解概念性的功能第一步中它聚集了输入特征及其邻域特征并对不同空间位置之间的关系进行建模。在第二步中首先使用插值生成与输入特征图相同大小的注意图。然后将输入特征图中的每个位置乘以注意力图中的相应元素进行缩放。整个过程描述如下 其实第一步中的gather可以用很多方法来进行替换例如逐通道卷积或者全局平均池化目的是为了将特征图上各个点的各个通道信息整合起来。应该说是SENet之后自然而然可以联想到的一种注意力机制。
Temporal attention
关于“when”施加注意力机制多用于视频检测不做过多研究
Branch attention
Highway networks highway network 是2015年提出的网络当时的模型都在追求的方向是加深加宽highway network就是其中之一。相较于resnet它已经有了其中shorcut的思想但是不够大胆。门控系数T不能为0或者1只能为中间值体现出了分支注意力的思想。 SKNet SKNet 使神经元能够自适应地调整其感受野大小即在多个不同核大小的核之间进行“选择性核”SK卷积。输入特征图首先经过33和55卷积各自获得特征图加和后送入全连接层最后生成两个权重系数a和b。Va×U1b×U2。所以输出特征图融合了两种卷积核作用的结果也即拥有两种感受野下的特征。 CondConv 为了打破传统卷积的特性,作者将CondConv中卷积核参数化为多个专家知识的线性组合(其中,a1,a2,a3,…an是通过梯度下降法学习的权重系数):(a1W1a2W2…anWn)*x,x是输入样本.可以通过提升专家的数量来提升模型的容量,这比提升卷积核的尺寸更有效,同时专家知识只需要一次线性组合,就可以提升模型容量的同时保持高效的推理。 SKNet类似于下图中b图的方案先对各个卷积核各自进行卷积融合他们的特征图。CondConv则是a图的情况先计算出各个“专家”卷积核的权重融合卷积核之后只做一次卷积。CondConv的方案显然计算量要小于SKNet。 Dynamic Convolution: Dynamic Convolution 的结构如下图所示。 输入x首先经过attention生成K个卷积核的权重由于经过softmax权重和为1不用担心叠加后过大的情况将权重和各个kernel_size的weight进行相乘叠加然后进行卷积。 与CondConv相比主要是约束参数。首先是在权重输出上通过softmax缩放到0-1且和为1然后是在各个卷积核的权重上由于attention权重大多数是sparse的与CondConv的实验异曲同工所以大多数的kernal得不到训练为解决这个问题作者提出了下述公式进行平滑 (这段可以看上面的链接) 这里z_{k} 表示第二层FC的输出。举个栗子方便理解假设该层有K2个kernalz zz输出的结果为(0.01, 0.99)那么在反向传播时第二个kernal可以得到更好地学习而第一个kernal的参数学习会被抑制。所以采用上述公式假如超参数\tau30那么此时\pi_{1} 的值就比之前不做平滑的大很多。因为z_{1}即使缩小了30被经指数函数仍然是趋近于1而z_{2} 一旦缩小30倍attention就从e{0.99}下降成了e{0.03}这个削弱幅度是巨大的。因此平滑操作有利于所有的kernel进行参数的迭代更新。 分支注意力机制小结 SKNet还是归为第一类因为它是融合得特征图而不是融合得卷积核。当然现在来看还是第二种计算量小嘛。
Channel Spatial Attention
通道空间注意力机制讲解
CBAM CBAM是个比较经典的注意力机制核心算法就在这三张图上。看的时候结合着代码理解。 CBAM的整体框图注意两个模块的顺序 通道注意力共享权重的MLP其实就是maxpool和avgpool输出共用一个全连接层 空间注意力完成通道上的池化以后再需要经过个7×7卷积7×7比3×3效果要好操作降维为1个channel即H×W×1 BAM BAM 也是由CBAM的作者提出的。 不同于CBAM将通道注意力和空间注意力串联这里采用了并联的思路。将通道注意力向量和空间注意力特征图经过广播叠加在一起叠加后与原始输入向量F大小相同。最后通过一个残差结构结合到一起。
GALA 全局和局部注意力GALA模块 这个通过下图就可以理解。全局注意力通道注意力是全局平均池化获得局部注意力空间注意力是两个连续的1×1卷积获得。两个特征向量矩阵expand后送入tanh非线性激活函数获得最终的注意力矩阵与原矩阵相乘即可。 虽然说是全局和局部注意力但本质上还是通道和空间注意力。不过本文的处理方法与BAM有所不同的地方在于引入了两个可训练参数a和m用于非线性激活。
scSE scSE 在通道注意力和空间注意力的结合方式都是并联叠加。区别就在于空间注意力的具体步骤上。实现原理很简单看个图就跳过了。这个没啥意思和之前的空间通道注意力机制相比就是在耦合方式上他们是注意力向量expand后相加这个是各自耦合后再相加特征矩阵。 Triplet Attention: 三头注意力机制 的结构如下图所示。 上图中共有三个分支每个分支都在捕获H、W和C中任意两个域之间的跨域交互中发挥作用。第一个支路就是最常见的空间注意力机制它关注H和W的信息交互第二个支路就是关注C和W的交互。获得三个支路后进行叠加最后输出。这个机制确实关注到了不同通道之间的交互重要性但是在实际使用时发现与其他注意力机制相比对于模型性能的提升并不明显且会增加计算量。
coordinate attention CA 我认为应该算是空间注意力机制。 首先进行w和h上的平均池化拼接以后送入1×1卷积中进行降维然后通过BN和激活函数再拆开分别进行卷积最后变成权重系数和原输入相乘。 我觉得和三头的注意力机制很像都是在关注跨通道的特征只是这个取消掉了最常见的逐通道池化而且加了spilt的操作。该模型设计的出发点是为了用在小模型上所以比较起来计算量相对较少和SE、CBAM相比性能也有较大提升。
Dual attention Dual attention 引入了自注意力机制的双注意力网络。主要特点就是轻量性能比SE和CBAM的性能也都高。整体流程图如下所示 上半部分用来提取空间信息。用三个卷积生成BCD三个特征图相当于自注意机制的KQV。B和C经过矩阵相乘耦合在一起然后再和C相乘最后和输入特征图A叠加在一起。 下半部分用来提取通道信息。与上半部分不同的是下面三个特征图并没有经过卷积而是直接reshape进行叠加。 RGA 关系感知的全局注意力 这个博文解释得不是特别清楚需要结合通道空间注意力综述的那篇论文来进行理解。 下面就是其中最核心的两个模块也就是通道和空间注意力机制的导入方法。以空间注意力模块为例首先输入特征图会先生成各个像素点间的相关性矩阵。相关性矩阵的生成公式如下所示。将输入特征图与关系矩阵相乘后得到两个矩阵看起来这两个矩阵应该是互为转置三个矩阵拼接然后进行逐通道卷积。通道注意力模块也是一样的计算步骤。 模型性能的话在目标检测领域不好说因为它主要与行人重识别的其他算法作比较。不过计算量不高但是低计算量是因为采用1×1的卷积代替了全连接全连接3×3卷积1×1卷积。
Self-Calibrated Convolutions SCNet 它使每个空间位置能够自适应地编码来自远程区域的信息上下文说白了就是自适应增加了感受野。 算法流程比较简单输入特征一分为二上一半经过平均池化下采和差值上采后和X1相加取sigmoid获得注意力矩阵。再与经过K3卷积核的X1相乘最后经过K4卷积核输出得到Y1Y1与Y2连接组成输出特征图。如何获取得远程区域的信息上下文呢主要是在X1的注意力机制中。经过上采样和下采样的特征拥有更广阔的感受野。 它类似于双注意力机制这个只在一个支路上进行了注意力机制的引入本质上也是一种自注意力机制。另一个不同就是提取特征不同Dual attention是分通道和空间的这个就不是了。这个模块的好处在于虽然看似是四个卷积操作。但实际上每个卷积核都是之前的1/4(C/2,C/2,H,W)这样增加的计算量就相对有限了。
Strip Pooling SPNet 仅从图片上就很好理解分别进行水平和垂直池化然后通过kernel3的一维卷积再expand通过相加或相乘等方式进行组合。对于模型来说更容易获得全局视野。
