1.一种基于改进RetinaNet的斑马线礼让行人检测方法,其特征在于,所述斑马线礼让行人检测方法包括以下步骤:S1,对斑马线处的行人图像进行采集,对采集到的样本图像进行预处理以调整图像尺寸,生成样本图像数据集;
S2,将样本图像数据集导入基于RetinaNet网络构建的斑马线礼让行人检测模型,对模型进行训练;斑马线礼让行人检测模型包括目标识别模块、警示框生成模块和违章检测模块;
S3,采用目标识别模块识别导入的样本图像中的斑马线、以及位于斑马线上的行人和车辆;
S4,采用警示框生成模块对检测识别到的行人添加检测框,并依据行人前进方向复制对应的检测框直至检测框到达当前行人所处位置对应的最远边线,将行人对应的所有检测框定义为警示框;最远边线为与行人所在位置对应的单向交叉车道的远离行人起点的边线;
S5,采用违章检测模块对检测识别到的车辆添加检测框,判断车辆对应的检测框与行人对应的警示框是否存在交集,如果存在交集,则判定车辆未礼让行人,否则,判定车辆为正常行驶。
2.根据权利要求1所述的基于改进RetinaNet的斑马线礼让行人检测方法,其特征在于,如果斑马线对应的道路为双向车道,当行人自斑马线的第一端部向第二端部行进,且未到达道路中间位置时,最远边线为道路中线;当行人到达并越过道路中线时,最远边线为斑马线的第二端部。
3.根据权利要求1所述的基于改进RetinaNet的斑马线礼让行人检测方法,其特征在于,所述目标识别模块包括特征提取模块、特征融合模块、特征增强模块、自适应特征池化模块、编码器、注意力模块和分类模块;
所述特征提取模块用于对导入的样本图像进行图像特征提取;特征融合模块用于对特征提取模块提取的图像特征进行上采样处理;特征增强模块用于对特征融合模块输出结果进行下采样处理,以增强其中包含的网络浅层细节特征;自适应特征池化模块用于将特征增强模块中每一层得到的proposal分别和其他层的proposal作ROI Align处理,将单层特征替换为多层特征;所述注意力模块用于将自适应特征池化模块输出的特征图沿着空间和通道两个维度依次推断出注意力权重,再与原特征图相乘来对图像特征进行自适应调整,增强斑马线、行人、车辆相关特征信息,减弱其他特征信息;所述编码器用于对自适应特征池化模块输出的融合后的特征图进行减少参数处理;所述分类模块用于对注意力模块和编码器两者的输出结果进行拼接,对拼接结果进行分类,识别得到目标类别和目标位置信息。
4.根据权利要求3所述的基于改进RetinaNet的斑马线礼让行人检测方法,其特征在于,所述特征增强模块包括自底而上设置的多个增强单元;每个增强单元均包括add融合层,以及与add融合层分别连接的3*3深度可分离卷积层和3*3卷积层;
所述3*3深度可分离卷积层的卷积核尺寸为3*3,步长为2,用于对特征提取模块提取的第k层的图像特征Pk进行卷积处理后发送至add融合层;所述3*3卷积层的卷积核尺寸为3*
3,步长为2,用于对第k‑1个增强单元的下采样特征图Nk‑1进行卷积处理后发送至add融合层;所述add融合层对3*3深度可分离卷积层和3*3卷积层进行add融合,生成下采样特征图Nk。
5.根据权利要求3所述的基于改进RetinaNet的斑马线礼让行人检测方法,其特征在于,所述自适应特征池化模块将特征增强模块中每一层得到的proposal分别和其他层的proposal作ROI归一化处理,将单层特征替换为多层特征的过程包括以下步骤:对于特征增强模块输出的每个proposal,将它们映射到不同的特征级别,proposal越大,特征级别越大,采用ROI Align从每个级别汇集特征;
将每个经过ROI Align获得的特征图采用深度可分离卷积,再将不同层次的特征图进行特征融合。
6.根据权利要求3所述的基于改进RetinaNet的斑马线礼让行人检测方法,其特征在于,所述编码器分为三层,第一层采用1×1卷积核将通道降维,使其缩小为输入通道数的四分之一,激活函数为Relu;第二层采用两个分支对第一层的输出结果进行特征提取,再将两个分支提取的特征进行concat拼接;第三层采用3×3的深度可分离卷积对第二层的输出结果进行特征提取。
7.根据权利要求6所述的基于改进RetinaNet的斑马线礼让行人检测方法,其特征在于,所述第二层包括第一分支和第二分支,第一分支采用1×1卷积核,第二分支采用3×3卷积核;其中,在1×1卷积核中将输出通道升维,使其扩大为输入通道数的4倍;在3×3卷积核中通过修改填充的大小和步幅长度,使输出特征达到与输入特征图的高宽尺寸相同,同时将输出通道升维,扩大为输入通道的4倍。
8.根据权利要求3所述的基于改进RetinaNet的斑马线礼让行人检测方法,其特征在于,所述注意力模块增强斑马线、行人、车辆相关特征信息,减弱其他特征信息的过程包括以下步骤:将经过自适应特征池化融合后的特征 进行维度变换,使其变换成
,其中,C表示通道数,H表示输入特征映射的高,W表示输入特征映射的宽;
将特征输入到多层感知机中,多层感知机分为两层,第一层和第二层通道数分别为C/
16和C;将多层感知机的输出进行维度变换,将其由 变换为 ;
使用sigmoid激活函数计算得到通道注意力的权重矩阵Mc(F1), ;
将权重矩阵Mc(F1)和特征F1进行F2运算后,得到新的权重矩阵F2, ;
表示元素级乘法;
将权重矩阵F2进行两次卷积核为7×7的卷积,第一次卷积将通道降维,通道缩小r倍,第二次卷积升维,通道扩大r倍,将得到的特征使用sigmoid函数来计算得到空间注意力的权重矩阵Ms(F2) ,其中, ;
将Ms(F2)与F2进行F3运算后,得到新的权重矩阵F3;其中,F3运算为 。
9.根据权利要求3所述的基于改进RetinaNet的斑马线礼让行人检测方法,其特征在于,所述目标识别模块的损失函数 为:其中, 为抑制正负样本的数量失衡的影响参数; 为正样本的概率;为控制简单/难区分样本数量失衡的影响参数。