1.一种基于联合注意力ResNeSt 的复杂场景下网络直播视频特征提取方法,其特征在于包括以下步骤:
1)网络直播视频的并行特征金字塔构建
构建了一个多尺度的并行特征金字塔结构;通过特征金字塔中的并行连接将不同尺度的特征图融合起来,并行连接包括1×1卷积的横向连接和随层数变化的斜向连接;
并行连接中横向连接使用的是1×1的卷积;斜向连接使用3×3的卷积对特征图进行下采样,其步长可动态调整为2(m‑n),其中n和m分别为主干结构Cn和并行结构Dm的层级数下标;
2)联合注意力驱动的特征金字塔设计
首先沿通道轴向应用平均池化和最大池化操作,并将它们连接起来生成有效的特征描述符,通过此操作找出视频帧信息中需要被关注的区域,最终利用标准卷积可获得空间注意力;输入的特征图F按照取每个通道的最大池化和平均池化的结果,按顺序分别送入一个多层感知机MLP,把输出结果直接加起来,然后经过ReLU激活函数,得到空间注意力模块的特征图Ms(F),整个过程如下式:
3×3
其中,Ms代表空间注意力,σ代表了ReLU非线性函数,f 代表卷积过程中利用3×3的卷积核;AvgPool代表上一层加权平均的池化操作,MaxPool代表获得上一层最大值的池化操s s作;Favg即为平均池化后的结果,Fmax即为最大池化后的结果;
获得空间注意力权重之后,进一步考虑引入通道注意力,如下所示:
其中Mc(F)代表通道注意力,σ代表了ReLU非线性函数,MLP是多层感知机矩阵运算,W0和W1为是多层感知机的权值;AvgPool代表上一层加权平均的池化操作,MaxPool代表获得上c c一层最大值的池化操作;Favg即为平均池化后的结果,Fmax即为最大池化后的结果;
将计算获得的空间注意力和通道注意力权重保留到下一层,通过特征提取模块的不断传递和叠加直到最后;
3)基于联合注意力和ResNeSt网络的直播视频场景特征表达
ResNeSt则又在ResNeXt的分支结构基础上增添了拆分注意力模块,数学表达如下所示:s=Fex(z,W)=sigmoid(W3σ(W4z)) (4)其中,z代表顺着空间维度的特征压缩,Fsq代表压缩函数,uc代表第c个卷积核,i,j分别是矩阵中对应的元素,H、W和C分别为图像的高度、宽度和通道数;s代表深层特征图,Fex代表特征提取函数,σ代表了ReLU非线性函数,W3、W4代表降维系数是两个可以手动设置的超参数,压缩后的全局描述特征z经过ReLU和sigmoid两个全连接层的bottleneck结构恢复原始的维度,得到(1×1×C)的输出。