利索能及
我要发布
收藏
专利号: 2022111805742
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-24
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于改进SSD算法的交通障碍检测方法,其特征在于,所述交通障碍检测方法包括以下步骤:S1,获取若干张包含交通障碍的原始图像,对原始图像进行预处理,得到相应的交通障碍样本图像,生成图像数据集,将图像数据集按照预设比例划分成训练集和验证集;

S2,基于VGG‑16基础网络构建交通障碍检测网络模型;所述交通障碍检测网络模型包括改进后的VGG‑16基础网络、多尺度提取模块、特征融合模块、候选框预设模块、动态检测模块和分类回归模块;

所述改进后的VGG‑16基础网络将VGG‑16基础网络的全连接层FC6和全连接层FC7转换成3*3的卷积层Conv6和1*1的卷积层Conv7;所述多尺度提取模块包括依次连接在卷积层Conv7之后的卷积层Conv8_2、卷积层Conv9_2、卷积层Conv10_2和卷积层Conv11_2;

所述特征融合模块对改进后的VGG‑16基础网络的卷积层Conv1_2、卷积层Conv2_2和卷积层Conv3_3的特征图进行融合,再将融合结果分别与卷积层Conv4_3、卷积层Conv7、卷积层Conv8_2进行融合,得到第一融合特征、第二融合特征和第三融合特征;

所述候选框预设模块用于在第一融合特征、第二融合特征、第三融合特征,以及卷积层Conv9_2、卷积层Conv10_2和卷积层Conv11_2输出的特征图上预设一组初始可迭代的候选框用以表示目标位置;

所述动态检测模块包括高维特征引入单元和若干个动态检测头,高维特征引入单元用于针对每个候选框引入一个与候选框一对一匹配的高维特征,用以表示候选框内所包含对象的深层次的抽象特征信息;所述动态检测头用于将提取出的特征图与候选框进行融合,并通过ROI‑Align得到感兴趣区域,再将感兴趣区域与相应的高维特征进行特征交互,输出对象特征至分类回归模块进行分类回归;

所述分类回归模块综合所有动态检测头输出特征的分类回归结果,得到最终的预测结果;

S3,采用图像数据集训练交通障碍检测网络模型;其中,将训练集作为输入,分类和回归结果作为输出,结合损失函数对交通障碍检测网络模型进行训练;

S4,将测试集输入训练完成的交通障碍检测网络模型,得到测试集的目标检测结果。

2.根据权利要求1所述的基于改进SSD算法的交通障碍检测方法,其特征在于,步骤S1中,对原始图像进行预处理的过程包括以下步骤:S11,获取开源数据集,从中找出包含行人、障碍物的原始图像,对原始图像进行包括随机旋转、随机裁剪在内的数据增强处理;

S12,针对各个数据增强处理后的原始图像,按照预先设置的尺寸,对各个原始图像的像素和大小进行统一设置,得到包含目标物体的有效图像;

S13,针对包含目标物体的有效图像,使用图片标注工具标注出行人和障碍物的目标检测边界框的大小和位置,再对目标检测边界框的障碍物类别进行标注,得到交通障碍样本图像。

3.根据权利要求1所述的基于改进SSD算法的交通障碍检测方法,其特征在于,所述特征融合模块包括依次连接的第一融合单元、第二融合单元和降维单元;

所述第一融合单元对卷积层Conv1_2、卷积层Conv2_2和卷积层Conv3_3输出的特征图降维至相同深度后进行融合;降维后的深度与卷积层Conv4_3的深度相同;

所述第二融合单元将第一融合单元的融合结果分别与卷积层Conv4_3、卷积层Conv7、卷积层Conv8_2进行融合;

所述降维单元包括三个并联的3*3卷积层,与第二融合单元输出的三个特征图一一对应,对第二融合单元输出的三个特征图进行降维处理,得到与卷积层Conv4_3、卷积层Conv7、卷积层Conv8_2相同深度的第一融合特征、第二融合特征和第三融合特征。

4.根据权利要求1所述的基于改进SSD算法的交通障碍检测方法,其特征在于,在交通障碍检测网络模型中,单次降采样结构先进行1次step为1,filter为3×3的卷积处理,对细节特征进行总结,再使用step为2的跨步卷积来降低特征融合的冗余,最后进行一次批正则化操作。

5.根据权利要求1所述的基于改进SSD算法的交通障碍检测方法,其特征在于,所述候选框采用四维向量(x,y,h,w)表示,x,y分别表示归一化后的候选框的中心点横坐标和纵坐标,h表示候选框的高度,w表示候选框的宽度。

6.根据权利要求1所述的基于改进SSD算法的交通障碍检测方法,其特征在于,所述动态检测头包括感兴趣区域池化组件、自注意力机制组件和特征交互组件;

所述感兴趣区域池化组件将提取出的特征图与候选框进行融合,并通过ROI‑Align得到感兴趣区域;

所述自注意力机制组件在与候选框一一对应的高维特征的特征集中引入自注意力模块,对检测目标的关系进行梳理,加强特征信息之间的联系;

所述特征交互组件用于感兴趣区域和梳理后的高维特征进行特征交互,输出对象特征。

7.根据权利要求1所述的基于改进SSD算法的交通障碍检测方法,其特征在于,所述分类回归模块得到最终的预测结果的过程包括以下步骤:基于对象特征,通过全连接层对物体进行回归和分类;

将对象特征和回归结果作为下一阶段动态检测头的高维特征和感兴趣区域继续检测,不断迭代修正结果,直至网络收敛,预测和分类识别结果;

使用匈牙利算法对最后一轮迭代的回归和分类结果进行处理,将预测框与真实框之间建立二分图匹配,得到最终的预测结果。

8.根据权利要求1所述的基于改进SSD算法的交通障碍检测方法,其特征在于,步骤S3中,所述损失函数为:Losstotal=λcla·Losscla+λL1·LossL1+λGIoU·LossGIoU其中λcla、λL1、λGIoU分别代表各个损失所占的权重;Losscla代表分类损失:γ

Losscla=‑αt(1‑pt) log(pt)

式中,αt取值范围是(0,1),用来控制正负样本失衡问题,pt取值范围是(0,1),反映了预测值与真实值的接近程度;γ>0为可调节因子,使focal loss小于标准交叉熵损失,控制简单/难分辨样本失衡,使得损失函数更加专注于难分辨样本;

LossL1代表平均绝对误差MAE,是真实值与预测值之差绝对值的均值,表示预测值的平均误差幅度,不需要考虑误差的方向:LossGIoU代表广义的IoU损失:

LossGIoU=1‑GIoU

式中,C为包含A和B的闭包,|C\(A∪B)|即等价于C‑(A∪B)。

9.一种基于改进SSD算法的交通障碍检测系统,其特征在于,所述交通障碍检测系统包括数据集生成模块、交通障碍检测网络模型和交通障碍检测网络模型构建模块;

所述数据集生成模块用于获取若干张包含交通障碍的原始图像,对原始图像进行预处理,得到相应的交通障碍样本图像,生成图像数据集,将图像数据集按照预设比例划分成训练集和验证集;

所述交通障碍检测网络模型构建模块用于基于VGG‑16基础网络构建交通障碍检测网络模型;

所述交通障碍检测网络模型包括改进后的VGG‑16基础网络、多尺度提取模块、特征融合模块、候选框预设模块、动态检测模块和分类回归模块;

所述改进后的VGG‑16网络将VGG‑16基础网络的全连接层FC6和全连接层FC7转换成3*3的卷积层Conv6和1*1的卷积层Conv7;所述多尺度提取模块包括依次连接在卷积层Conv7之后的卷积层Conv8_2、卷积层Conv9_2、卷积层Conv10_2和卷积层Conv11_2;

所述特征融合模块对改进后的VGG‑16基础网络的卷积层Conv1_2、卷积层Conv2_2和卷积层Conv3_3的特征图进行融合,再将融合结果分别与卷积层Conv4_3、卷积层Conv7、卷积层Conv8_2进行融合,得到第一融合特征、第二融合特征和第三融合特征;

所述候选框预设模块用于在第一融合特征、第二融合特征、第三融合特征,以及卷积层Conv9_2、卷积层Conv10_2和卷积层Conv11_2输出的特征图上预设一组初始的可迭代的候选框用以表示目标位置,并分析得到每个候选框的ROI特征;

所述动态检测模块包括高维特征引入单元和若干个动态检测头,高维特征引入单元用于针对每个候选框引入一个与候选框一对一匹配的高维特征,用以表示候选框内所包含对象的深层次的抽象特征信息;所述动态检测头与候选框相对应,用于将候选框的ROI特征与相应的高维特征进行融合后输出至分类回归模块进行分类回归;

所述分类回归模块综合所有动态检测头输出特征的分类回归结果,得到最终的预测结果;

所述交通障碍检测网络模型构建模块还用于采用图像数据集训练和验证交通障碍检测网络模型;其中,将训练集作为输入,分类和回归结果作为输出,结合损失函数对交通障碍检测网络模型进行训练;再将测试集输入训练完成的交通障碍检测网络模型,得到测试集的目标检测结果。