利索能及
我要发布
收藏
专利号: 2019113088600
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于SSD改进的目标检测方法,其特征在于:包括如下具体步骤:

1)将原始数据集进行预处理;

2)构建网络模型,所述网络模型包括基础网络以及分类回归网络;

所述基础网络将SSD模型中VGG-16网络替换为ResNet-101残差网络,并且使用两个3*3卷积代替所述ResNet-101残差网络末端的全连接层进行卷积降采样操作,分别得到降采样倍数为64和128的特征图,再对特征图中降采样倍数为8、16、32、64、128的特征图做特征融合操作,输出5种尺度的特征预测层;

所述分类回归网络对于每个特征预测层使用并行的两个3*3的卷积层分别作为分类分支和回归预测分支,并且添加一个与分类并行预测的Centerness分支以及在分类分支输入端添加一个SE-block层;

所述SE-block层由一个全局池化层和两个1×1的卷积所构成;

所述Centerness分支用于减少因远离目标中心而产生的低质量边界框,其计算公式如下:式中: 为回归的位置信息,其中,为感受野中心点离预测框左边的距离;

为感受野中心点离预测框上边的距离;为感受野中心点离预测框右边的距离;为感受野中心点离预测框下边的距离;Centerness输出在0到1之间;

3)训练阶段,将步骤1)预处理后的原始数据集分为训练集和测试集,再将训练集按照最小批次输入步骤2)构建的网络模型,在5种尺度的特征预测层上,像素级的预测出类别得分、中心概率得分以及回归的位置信息,并对预测框进行正负样本划分;然后设计损失函数,并使用梯度下降法进行反向迭代优化,得到最优网络参数,输出最优网络模型;

4)测试阶段,将测试集作为最优网络模型输入,得到检测结果,其具体过程如下:

4.1)将测试集作为最优网络模型的输入;

4.2)输入数据经过最优网络模型在5种尺度的特征预测层上像素级的预测出类别得分、中心概率得分以及回归的位置信息;

4.3)选取得分最高的类别作为像素点的类别并根据类别得分的阈值进行删选,将剩下像素点的类别得分与Centerness中心概率得分相乘,获得新的类别得分;

4.4)对剩下的像素点的回归位置信息解码得到边界框的真实坐标信息,根据得分降序保留分数最高的k个预测框并进行非极大值抑制处理,得到检测结果。

2.根据权利要求1所述的基于SSD改进的目标检测方法,其特征在于:步骤2)中所述特征融合操作的具体方法为:将卷积降采样倍数为8、16、32、64、128的特征图分别记为C3、C4、C5、C6、C7,并把C7的输出特征图记为P7,接着将P7通过两倍的转置卷积后与C6逐像素相加,得到融合后的特征图P6,P6通过两倍的转置卷积后与C5逐像素相加,得到融合后的特征图P5,再将P5通过一个1*1的卷积将特征通道数降为256,然后通过两倍的转置卷积后与C4逐像素相加,得到融合后的特征图P4,再将P4通过1*1的卷积将通道数降为128,然后通过两倍的转置卷积后与C3逐像素相加,得到融合后的特征图P3,最后将融合后的特征图P3、P4、P5、P6、P7,即5种尺度的特征预测层,分别作为分类回归网络的输入特征。

3.根据权利要求2所述的基于SSD改进的目标检测方法,其特征在于:步骤2)中对于回归的位置信息的计算方法如下:通过将选取的第i个特征预测层上的第j个像素点 映射回原图得到当前像素点感受野中心坐标(xm,yn),计算公式如下:式中:s为卷积降采样的倍数;i为特征预测层编号;i取[1,5]中的整数;

则回归的位置信息 为当前像素点在原图上的预测框位置信息,即当前像素点感受野中心坐标到预测框四条边的距离,其计算公式如下:式中:x0、y0为当前像素点在原图上的预测框左上角的坐标;x1、y1为当前像素点在原图上的预测框右下角的坐标。

4.根据权利要求3所述的基于SSD改进的目标检测方法,其特征在于:步骤3中所述预测框进行正负样本划分的具体方法为:当前特征图上的像素通过映射回原图后,若感受野的中心坐标落在标定好的目标框内部,就将该像素点在原图上的预测框划分为正样本,否则为负样本;还根据设定的第i个特征预测层回归尺度的最小值mi-1和最大值mi,当预测出的 中的最大值大于mi或者中的最大值小于mi-1时,将该像素点在原图上的预测框标记为负样本。

5.根据权利要求4所述的基于SSD改进的目标检测方法,其特征在于:步骤3)中所述损失函数为分类损失函数、回归损失函数和中心得分损失函数之和,其计算公式如下:式中:Npos为正样本的个数;Lcls为分类损失函数;Lreg为回归损失函数;Lcenter为中心概率得分损失函数; 为当前像素点映射回原图的感受野中心坐标到目标框四条边的距离;

tx,y为当前像素点感受野中心坐标到预测框四条边的距离;Cx,y为真实类别标签;C*x,y为预测出的类别得分值;Sx,y为正负样本标签;S*x,y为预测出的中心概率得分值。

6.根据权利要求5所述的基于SSD改进的目标检测方法,其特征在于:所述分类损失函数选用focal loss函数,计算公式如下:式中: 为预测出类别得分值;α和γ为超参,分别为0.25和2;

所述回归损失函数选用iou loss函数,计算公式如下:

式中:A、B分别为预测框的面积和标定好的目标框的面积;只对正样本计算像素点映射回原图的感受野中心坐标到目标框四条边的距离 结合回归得到的分别求出A和B并计算出交并集,计算公式如下:

所述中心概率得分损失函数选用二元交叉熵损失函数,计算公式如下:

式中:Sx,y为正负样本标签,Sx,y=1时表示正样本,Sx,y=0时表示负样本;S*x,y为计算得到的中心概率得分。

7.根据权利要求1-6任一所述的基于SSD改进的目标检测方法,其特征在于:步骤1)中所述预处理包括将原始数据集中的图片调整为512*512大小并采用数据增强策略扩充原始数据集。