利索能及
我要发布
收藏
专利号: 2022100191732
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于MR‑SSD的被遮挡交通标志检测方法,其特征在于,包括以下步骤:S1,对数据集内被遮挡交通标志图像利用协同调制生成对抗网络进行图像填充,实现任意交通标志图像的被遮挡区域补全;同时对补全后的图像进行图像增强;

S2,构建MR‑SSD特征提取网络,所述MR‑SSD特征提取网络包括骨干模块、特征融合模块、预测模块以及部分遮挡处理模块四部分;将增强后的图像输入到骨干模块中提取图像特征的语义信息,所述骨干模块将MobileNetV2中的倒残差结构改为轻量分组卷积残差块实现网络的轻量化,在每个轻量分组卷积残差块末端添加分组重排注意力模块以提高轻量分组卷积残差块的特征信息提取能力;选取骨干模块处理后的若干个特征图输入特征融合模块,将卷积层中的浅层特征图与经过双线性插值放大处理得到的深层特征图进行特征融合得到融合后的特征图,并将融合后的特征图作为下一级特征融合模块中的深层特征,再与下一级卷积层中的浅层特征进行融合后同样输入预测模块,依次进行下一步的特征融合操作,由预测模块对各个融合后的特征图进行分类和定位,进而获得初步预测的分类及定位结果;

S3,根据初步预测的分类对应的置信度值及属于同一区域的先验框和地面真值框之间的交并比IoU对预测模块输出特征的定位结果进行调整,得到二次预测的分类及定位结果;

S4,将步骤S3中的二次预测的分类及定位结果输入到部分遮挡处理模块中,对被遮挡的交通标志所属类别和定位结果进行进一步划分,获得最终预测的分类和定位结果;

S5,不断进行MR‑SSD特征提取网络的训练,降低模型的分类及定位损失,提高检测精度和速度,实现模型轻量化;

S6,将待识别的被遮挡交通标志图像输入到已训练好的MR‑SSD特征提取网络中,判断该图像中所含交通标志的类型,同时将该交通标志的具体位置正确框出。

2.根据权利要求1所述基于MR‑SSD的被遮挡交通标志检测方法,其特征在于,所述步骤S1中包括对补全后的图像进行对比度、亮度、色度、饱和度的图像增强。

3.根据权利要求1所述基于MR‑SSD的被遮挡交通标志检测方法,其特征在于,所述步骤S2中将增强后的图像输入到骨干模块中提取图像特征的语义信息,包括以下步骤:S21,将增强后的图像输入到骨干模块中,所述骨干模块将MobileNetV2网络的Conv13层后原有的卷积层、最大池化层全部去掉,再添加上8个卷积层,从中选择Conv11, Conv13, Conv14_2, Conv15_2, Conv16_2, Conv17_2总共6层特征图用来检测,每个特征图均采用轻量分组卷积残差块进行获取;其中轻量分组卷积残差块由左右两个分支连接构成,所述左分支直接对输入特征图进行3*3平均池化操作得到处理后的特征图;所述右分支先按照通道数对输入特征图划分G个组,采用逐点卷积对各组进行通道升维操作,经批量归一化、ReLU激活函数后在各组的高通道维度上利用深度可分离卷积进行特征信息提取,经批量归一化、ReLU激活函数后利用通过逐点卷积对各组进行降维操作,经批量归一化后将各组按照通道数纵向进行连接,进行通道混洗得到特征图;再将左分支得到处理后的特征图与右分支得到的特征图对应位置的元素相加,最后经过ReLU激活函数得到一个总的输出特征图;

S22,在每个轻量分组卷积残差块的末端添加分组重排注意力模块,所述分组重排注意力模块将轻量分组卷积残差块得到的一个总的输出特征图作为输入并将其按照通道维度划分为4组,每组都要经过全局和局部两种通道注意力模块,分别对每个组内的特征进行局部和全局的上下文特征信息提取,分别得到局部的特征图和全局的特征图,再将所得局部的特征图和全局的特征图逐元素相加,经过sigmoid函数与分组后的原特征图相乘得到组内的一个新特征图;将各组内部所得一个新特征图按纵轴方式进行组内重新排列连接,得到各组的输出特征图;最后对各组的输出特征图按照通道顺序进行排列连接形成一个大组的输出特征图,对该大组的输出特征图进行整体的通道重新混洗排列,得到最终的输出特征图;

S23,经过骨干模块处理后选取若干个分辨率不同的特征图作为特征融合模块的输入。

4.根据权利要求1所述基于MR‑SSD的被遮挡交通标志检测方法,其特征在于,所述步骤S2中选取骨干模块处理后的若干个特征图输入特征融合模块进行特征融合,包括以下步骤:

将骨干模块中选取的若干个特征图输入到特征融合模块中,依次将分辨率为1×1的深层特征图采用双线性的插值操作进行上采样,获得与分辨率为3×3的浅层特征图相同的分辨率和通道数,随后将两者对应元素相乘,得到特征融合后的分辨率为3×3的新特征图,并将该新特征图作为下一次的深层特征图,再与下一次的浅层特征图按照上述方式融合,最终得到融合后的若干个不同尺寸的特征图,并将它们输入到预测模块中。

5.根据权利要求1所述基于MR‑SSD的被遮挡交通标志检测方法,其特征在于,所述步骤S2中由预测模块对融合后的特征图进行分类和定位,获得初步预测的分类及定位结果,包括以下步骤:

对输入的若干个不同尺寸的特征图先进行深度可分离卷积的残差连接处理,同时为每个特征图分别设置不同数量的先验框,然后利用先验框来进行分类和定位操作,得到初步预测的不同分类对应的置信度值和位置的相对偏移量。

6.根据权利要求1所述基于MR‑SSD的被遮挡交通标志检测方法,其特征在于,所述步骤S3中根据初步预测的分类对应的置信度值及属于同一区域的先验框和地面真值框之间的交并比IoU对预测模块输出特征的定位结果进行调整,包括以下步骤:S31,根据预测模块设置的先验框与地面真值框计算相同区域不同位置间的交并比IoU,将具有最大交并比IoU或IoU大于设定阈值的先验框视为正样本,过滤掉属于背景的先验框,同时将正负样本按照 1:4 的比例把负样本抽样出来,去除置信度值较低的先验框;

S32,对剩下的正样本对应的先验框进行非极大值抑制,经过分类处理后得到先验框以及该先验框中各个分类对应的置信度值,对各个分类对应的置信度值进行降序排列,选择其中置信度值最高先验框,然后遍历剩下的先验框,如果发现某个先验框与当前最高置信度值先验框的交并比IoU大于设定的阈值,则将该先验框删除,接着从剩余未处理先验框中继续选出一个置信度值最高的先验框,重复上述操作,直至找到所有定位准确的先验框为止,此时得到二次预测的分类及定位结果。

7.根据权利要求1所述基于MR‑SSD的被遮挡交通标志检测方法,其特征在于,所述步骤S4中将二次预测的分类及定位结果输入到部分遮挡处理模块中,对被遮挡的交通标志所属类别和定位结果进行进一步划分,包括以下步骤:S41,将二次预测所得分类对应的置信度值和分类对应的先验框输入到部分遮挡处理模块中,经过一个ROI Pooling层将先验框的位置缩放到固定尺寸;再从先验框中纵向切分出3个子区域,并且将三个子区域同样经过ROI Pooling层缩放到与先验框相同尺寸,然后分别对三个子区域同时进行置信度值预测得到三个子区域的预测分类置信度值,其中被遮挡的子区域中置信度值较低,否则置信度值则较高,最后利用对应元素相加将先验框和三个子区域的特征进行合并,得到最终总的预测分类置信度值,以获得最终预测的不同分类对应的置信度值和位置的相对偏移量;

S42,将最终预测的不同分类对应的置信度值和位置的相对偏移量与地面真值框进行损失计算,获得损失函数。

8.根据权利要求1所述基于MR‑SSD的被遮挡交通标志检测方法,其特征在于,所述S5中训练获得的MR‑SSD特征提取网络的损失函数为:S51,获得MR‑SSD特征提取网络的总损失函数 为分类对应的置信度值损失函数和定位的损失函数之和:

其中,N表示先验框的正样本数量; 表示分类对应的置信度值损失函数; 表示定位的损失函数;

S52,所述分类对应的置信度值损失函数 ,具体为:其中, 表示步骤S3中二次预测采用的分类对应的置信度值损失函数; 表示步骤S4中部分遮挡处理模块采用分类对应的置信度值损失函数; 表示交叉熵损失函数; 表示属于正样本的概率; 表示平衡因子; 表示调制系数; 表示正样本集合;

表示负样本集合; ,表示第 个正样本框与第 个groundtruth框是否匹配; 表示第 个类别; 表示第 个框属于第 个类别的置信度值,即第 个框属于第 个类别的概率; 表示第 个框属于背景的置信度值; 表示子区域为正样本的数量; 表示子区域正样本集合; 表示子区域负样本集合。

9.一种基于MR‑SSD的被遮挡交通标志检测系统,其特征在于,包括:图像处理模块,用于对数据集内被遮挡交通标志图像利用协同调制生成对抗网络进行图像填充,实现任意交通标志图像的被遮挡区域补全;同时对补全后的图像进行图像增强;

MR‑SSD特征提取网络,包括骨干模块、特征融合模块、预测模块以及部分遮挡处理模块;

其中,骨干模块,用于对输入的图像提取图像特征的语义信息,并选取处理后的若干个特征图作为输出,其将MobileNetV2中的倒残差结构改为轻量分组卷积残差块实现网络的轻量化,在每个轻量分组卷积残差块末端添加分组重排注意力模块以提高轻量分组卷积残差块的特征信息提取能力;

特征融合模块,用于对骨干模块选取的若干个特征图进行特征融合,包括:将卷积层中的浅层特征图与经过双线性插值放大处理得到的深层特征图进行特征融合得到融合后的特征图,并将融合后的特征图作为下一级特征融合模块中的深层特征,再与下一级卷积层中的浅层特征进行融合,依次进行下一步的特征融合操作,得到各个融合后的特征图;

预测模块,用于对特征融合模块得到的各个融合后的特征图进行分类和定位,获得初步预测的分类及定位结果;并根据初步预测的分类对应的置信度值及属于同一区域的先验框和地面真值框之间的交并比IoU对预测模块输出特征的定位结果进行调整,得到二次预测的分类及定位结果;

部分遮挡处理模块,用于根据预测模块得到的二次预测分类及定位结果,对被遮挡的交通标志所属类别和定位结果进行进一步划分,获得最终预测的分类和定位结果。