1.一种融合Transformer机制的交通标志检测方法,其特征在于,包括如下步骤:
步骤1、基于YOLOv5,在深层主干网中加入Trans,根据Transformer机制,设计结合图像全局特征的编码模块Trans;构建的Trans包含两个子层,第一层是一个多头注意力层,第二层是一个全连接层MLP,同时在输入输出端用残差连接相连;其中,多头注意力层Multi‑head Attention是Trans的核心层,由多个不同的自注意力集成,多头注意力的每一个分支都有不同的Q,K,V,其中Q表示查询的数据的具体属性,K表示正在被查询的数据的关键字索引,V表示查询出来的具体数据内容,Q、K、V均通过图像矩阵线性变化得到,最终经过自注意力机制得到的加权之后的注意力权重的计算公式如(1)所示:是Q和K的长度,用作比例因子,缓解引入softmax函数可能带来的梯度消失问题,在对 Q 和 K 进行内积以获得相似性表示后,通过 softmax 获得权重,最后作用于 V 以获得最终输出;
步骤2、利用GhostConv代替普通卷积模块搭建特征融合网络,通过GhostConv轻量便捷的线性操作轻量化冗余特征的提取过程,释放计算力和内存占用;
步骤3、设计精简的解耦检测头Slim Decoupled Head,将分类与回归任务分开解析,加强网络模型的输出能力。
2.如权利要求1所述的融合Transformer机制的交通标志检测方法,其特征在于,步骤2中,在特征融合阶段搭建GhostConv模块,通过轻量便捷的操作轻量化特征提取过程中,降低冗余特征的内存占用具体为:使用深度可分离卷积作为线性操作来搭建GhostConv模块,假定输入特征图的尺寸为 ,卷积核的尺寸为 ,padding为1,数量为N,普通卷积的总计算量为:
深度可分离卷积的总计算分为两部分,一部分是深度卷积的计算,公式如(3)所示:
另一个是逐点卷积的计算,公式如(4)所示:
计算总量如(5)所示:
深度可分离卷积与普通卷积的比率如等式(6)所示:
深度分类可卷积的计算参数远小于正常卷积的计算参数,并且,在深度可分离卷积操作中,使用5×5大小的卷积核进行卷积操作,扩大感受野范围,包含更丰富的上下文信息;
通过1×1卷积来处理 通道的特征信息,保留输入特征的绝大部分原始的特征信息,另外通道则是通过深度可分离卷积进行特征提取,轻量化冗余特征的提取过程,最后通过级联操作,将两个分支提取出的特征层进行合并输出,得到最终的输出特征层。
3.如权利要求1所述的融合Transformer机制的交通标志检测方法,其特征在于,步骤3中,设计Slim Decoupled Head解析输出结果具体为:精简的解耦检测头将分类任务与回归任务分开,拥有三个输出检测头,分别为:分类输出class_output、回归输出regression_output和目标输出object_output;首先通过一个1×1的卷积层来降低通道的维度,然后是两个平行的子网,其中class_output属于分类子网,预测目标框内物体的类别,regression_output和object_output属于回归子网,其中regression_output针对目标框的坐标信息(x,y,w,h)进行检测,object_output判断框定的目标框中是前景还是背景;在class_output检测分支中采用全连接检测头,在另外两个检测分支中采用卷积检测头,最后将三个输出检测头经过concat操作融合到一起,得到最终的输出结果。