1.基于归一化注意力机制YOLOv7的交通标志检测方法,其特征在于,具体如下:步骤1,获取自动驾驶时拍摄的交通标志的系列图像;步骤2,将步骤1获取的交通标志的系列图像裁剪或填充成固定尺寸的大小图像并把它们都转变成张量;步骤3,对原YOLOv7网络中的backbone模块及neck模块进行改进,将步骤2得到的张量送入到改进后的backbone模块及neck模块进行特征提取;步骤4,在步骤3对原YOLOv7网络改进的基础上继续对原有的head模块进行改进,将步骤3获得特征张量送入到改进后的head模块;步骤5,根据步骤4得到的特征张量送入改进后的head模块的REPConv层,再经过检查头,从而输出交通标志检测结果;
步骤3具体按照以下步骤实施:
步骤3.1,在原YOLOv7网络的backbone模块中的Bconv层和MPConv层和neck模块中的MPConv层均引入了专门针对视觉任务的激活函数FreLU;
步骤3.2,使用参数化池窗口来创建空间依赖项,定义FreLU激活函数的形式如式(1)及(2)所示:f(xc,i,j)=max(xc,i,j,T(xc,i,j))(1)
其中,xc,i,j为非线性激活,f(·)在第c个通道上二维空间位置(i,j)的输入像素;函数T(·)表示漏斗条件, 表示kh×kw;以xc,i,j为中心的参数化池化窗口, 表示该窗口在同一通道上共享的系数,(·)表示点乘;
步骤3.3,将步骤2得到的张量送入到改进后的backbone模块中进行特征提取,得到输出特征张量,张量一张一张进入,实时监测;
步骤3.4,将改进后的backbone模块的输出特征张量送进改进后的neck模块,此外,将改进后的backbone模块中的倒数二三层的ELEN层的特征张量再送入到改进后的neck模块,进行特征图融合获得特征张量;
步骤4具体按照以下步骤实施:
步骤4.1,在步骤3对原YOLOv7网络改进的基础上在原有的head模块中REPConv层之前加入归一化NAM注意力机制;
步骤4.1中,NAM注意力机制中包含通道注意力机制模块和空间注意力机制模块,通道注意力机制模块和空间注意力机制模块均使用批归一化中的比例因子,比例因子如下式(3)所示:其中,μB和σB为小批量B的平均值和标准差,γ和β是可训练的仿射变换参数,Bin是批量B的输入,Bout是批量B的输出;
步骤4.2,步骤3获得特征张量首先会进入到通道注意力机制模块中,得到通道注意力机制模块的输出特征Mc;
步骤4.2中,通道注意力机制模块的输出特征如式(4)所示:
Mc=sigmoid(Wγ(BN(F1)))(4)
其中,Mc表示通道注意力机制模块的输出特征,Wγ为通道权值, γ为
各通道的比例参,k为通道数,BN是比例因子,F1是进入通道注意力机制模块的输入特征;
步骤4.3,将得到的通道注意力机制模块的输出特征Mc继续输入到到空间注意力机制模块中得到空间注意力机制模块的输出特征Ms;
步骤4.3中,空间注意力机制模块的输出特征Ms如式(5)所示:
Ms=sigmoid(Wλ(BNs(F2))) (5)
其中,Ms表示空间注意力机制模块的输出特征,Wλ为空间像素权值, λ为各像素的比例参数,n为像素数,BNs是空间比例因子,F2是通道注意力机制模块的输出特征。
2.根据权利要求1所述的基于归一化注意力机制YOLOv7的交通标志检测方法,其特征在于,步骤1具体按照以下步骤实施:步骤1.1,通过OpenCV视频的获取操作函数获得驾驶员驾驶过程的视频源;
步骤1.2,经过步骤1.1获得驾驶员驾驶过程的视频源之后,设置定时器周期,连接定时器周期溢出的槽函数,用于显示一帧视频,加载成图像帧之后,读取视频的每一帧画面,获取交通标志的系列图像。
3.根据权利要求1所述的基于归一化注意力机制YOLOv7的交通标志检测方法,其特征在于,步骤2具体按照以下步骤实施:步骤2.1,将步骤1获取的交通标志的系列图像进行裁剪或填充操作,使图像的尺寸大小保持一致;
步骤2.2,将步骤2.1获得的系列图像中内存不连续存储的数组转换为内存连续存储的numpy数组;
步骤2.3,将步骤2.2处理之后的numpy数组转换为PyTorch中的张量。
4.根据权利要求1所述的基于归一化注意力机制YOLOv7的交通标志检测方法,其特征在于,步骤5具体按照以下步骤实施:将步骤4获得的空间注意力机制模块的输出特征Ms送入到REPConv层得到的张量a,将得到的张量a进入到检测头中,检测头接受输入REPConv层输出的张量a并返回最终的输出张量列表z;在预测期间,使用forward方法对a中的每个元素应用卷积层;然后,它重新整形输出张量并对其应用sigmoid激活函数;最后,它将输出张量附加到列表z并返回它;该张量列表z是一个包含框和分数张量的元组,通过该元组中的分数和框判断出该交通标志是哪种交通标志;然后继续循环执行步骤1,实时进行判断交通标志的表示。