1.一种面向嵌入式实时视觉目标检测的轻型网络构建方法,其特征在于:包括如下步骤:
步骤1)构建基于通道注意力机制多尺度特征融合的三分支输出骨干网络模块
Backbone‑Tiny;
步骤2)构建轻型金字塔特征融合网络模块PAN‑Tiny;
步骤3)构建轻型检测头网络模块Head‑Tiny;
步骤4)按照骨干网络模块Backbone‑Tiny、金字塔特征融合网络模块PAN‑Tiny、检测头网络模块Head‑Tiny的顺序,将步骤1)、步骤2)、步骤3)所描述的三个局部子网络模块依次串联成为目标检测网络整体;
所述的步骤1)的具体内容为:
三分支输出骨干网络Backbone‑Tiny共输出大、中、小三个尺度的图像特征,其网络结构依次由1个卷积层、1个最大池化层、和3个不同尺度的分支特征提取单元SE‑SPP‑Shufflenet串联组成,每个尺度的SE‑SPP‑Shufflenet单元均由SE‑Shufflenet网络和SPP多尺度池化网络两个部分串联组成,即,SE‑Shufflenet的输出作为SPP的输入,而SPP的输出作为SE‑Shufflenet网络的最后输出,且大尺度SE‑Shufflenet网络的输出,作为中尺度SE‑Shufflenet网络的输入;中尺度SE‑Shufflenet网络的输出,作为小尺度SE‑Shufflenet网络的输入;从而构成3种不同尺度的分支特征提取单元SE‑SPP‑Shufflenet之间的串联结构,而三个尺度的SE‑SPP‑Shufflenet网络输出特征图,即为三分支输出骨干网络Backbone‑Tiny的三个不同尺度的特征输出;
SE‑Shufflenet特征提取网络由Shufflenet网络与通道注意力模型SE串联组成,Shufflenet网络的输出作为通道注意力模型SE的输入;而通道注意力模型SE输出的特征即为SE‑Shufflenet的特征提取网络的最终输出,其中,Shufflenet网络结构依次由1个通道分割层(channel split)、1个并行特征提取网络、1个特征拼接层(concate)和1个通道乱序层(channel shuffle)串联构成,其中,并行特征提取网络由上、下两个特征提取分支网络并联构成,其中,上分支网络共9层,依次由1个输入层、1个卷积层、1个BN层、1个Relu层、1个DW卷积层、1个BN层、1个DW卷积层、1个BN层和1个Relu层串联构成;下分支网络共6层,依次由1个输入层、1个DW卷积层、1个BN层、1个卷积层、1个BN层和1个Relu层串联构成,上、下分支网络的输出特征图经过1个特征拼接层(concate)连接后,再经过1个通道乱序层(channel shuffle)将输出特征图的通道顺序随机打乱,最后,通道乱序后的特征图作为Shufflenet网络的输出;
通道注意力模型SE由上、下两个分支结构并联构成,上分支直接输出原输入特征图,下分支网络共5层,依次由1个最大池化层、1个全连接层、1个Relu层、1个全连接层、1个Hard‑Swich层串联构成;上、下分支的输出特征图由1个元素相乘操作层(multiply)进行融合;最后,将元素相乘后的特征图作为SE注意力模型的输出;
SPP多尺度池化网络结构由四个尺度的最大池化层并联后和1个特征拼接层(concate)串联组成,即,输入特征图分别经过1×1、5×5、9×9、13×13的最大池化层的输出特征通过concate层拼接融合,其多尺度的融合结果作为SPP的输出。
2.根据权利要求1所述的面向嵌入式实时视觉目标检测的轻型网络构建方法,其特征在于:所述的步骤2)的具体内容为:轻型金字塔特征融合网络模块PAN‑Tiny可将Backbone‑Tiny骨干网络的三个尺度输出特征进行分别进行自上而下、自下而上的多尺度融合之后输出三种不同尺度的优化特征,轻型金字塔特征融合网络模块PAN‑Tiny由以下三个不同尺度的特征融合分支网络构成:“大尺度特征融合分支网络”、“中尺度特征融合分支网络”、“小尺度特征融合分支网络”;
a)“小尺度特征融合分支网络”结构与特征融合过程如下:
首先,小尺度输入特征图经过1个1×1的卷积层后与“中尺度1次融合上行特征图”FMup1经过1个1×1的卷积层和1个“线性插值上采样”层后进行元素相加操作;然后,元素相加获取的特征图再经过通道分割(channel split)操作分成两个部分,分别为“小尺度融合上行特征图”FSup和“小尺度融合下行特征图”FSdown,其中,“小尺度融合上行特征图”FSup即为“小尺度特征融合分支网络”的输出特征图;
b)“中尺度特征融合分支网络”结构与特征融合过程如下:
首先,中尺度输入特征图经过1个1×1的卷积层后与“大尺度融合上行特征图”FBup经过
1个“线性插值上采样”层和1个1×1的卷积层后,进行元素相加操作;然后,元素相加获取的特征图经过通道分割(channel split)操作分成两个部分,分别为“中尺度1次融合上行特征图”FMup1和“中尺度1次融合下行特征图”FMdown1;接着,“小尺度融合下行特征图”FSdown经过1个“线性插值下采样”层后与“中尺度1次融合下行特征图”FMdown1进行元素相加;元素相加的结果经过通道分割(channel split)操作分成两个部分,分别为“中尺度2次融合上行特征图”FMup2和“中尺度2次融合下行特征图”FMdown2;最后,“中尺度2次融合上行特征图”FMup2经过一个1×1的卷积层后作为“中尺度特征融合分支网络”的输出特征图;
c)“大尺度特征融合分支网络”结构与特征融合过程如下:
首先,小尺度输入特征图经过1个1×1的卷积层后,再经过通道分割(channel split)操作分成两个部分,分别为“小尺度上行特征图”FBup和“小尺度下行特征图”FBdown;然后,中尺度2次下行特征图FMdown2经过1个1×1的卷积层和1个“线性插值下采样”层与“大尺度下行特征图”FBdown进行元素相加操作;元素相加后获取的融合特征图作为“大尺度特征融合分支网络”的输出特征。
3.根据权利要求1所述的面向嵌入式实时视觉目标检测的轻型网络构建方法,其特征在于:所述的步骤3)的具体内容为:轻型检测头网络模块Tiny‑head共5层,依次由1个DW卷积层、1个卷积层、1个DW卷积层、
1个卷积层、1个卷积层串联构成。
4.根据权利要求1所述的面向嵌入式实时视觉目标检测的轻型网络构建方法,其特征在于:所述的步骤4)的具体内容为:(1)SE‑SPP‑Shufflenet骨干网络的三分支输出特征图,分别作为PAN‑Tiny融合网络的大尺度、中尺度、小尺度特征的输入;
(2)PAN‑Tiny融合网络的大尺度、中尺度、小尺度特征的输出特征图,分别连接大尺度、中尺度、小尺度的检测头网络;
(3)最后,三个检测头网络分别输出大尺度、中尺度、小尺度的目标物体定位框Box,检测置信度Conf和输出类别Class三种目标检测结果参数,实现目标定位与识别功能。