利索能及
我要发布
收藏
专利号: 2023109270397
申请人: 鲁东大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于YOLOv7网络对密集小目标的检测方法,其特征在于,包括以下步骤:获取密集小目标图像,通过Mosaic处理,生成YOLOv7骨干网络的输入图像;

将所述输入图像,通过SODL小目标检测网络进行多层特征融合,生成第一特征图像,所述SODL通过在空间空洞卷积和池化层中引入不同采样率的空洞卷积核和池化核,以获得不同感受野的特征图;

基于ACBAM注意力模块,对所述第一特征图像进行通道维度上的特征重要性加权,并经过CBS卷积层和ELAN模块依次进行处理,其中,所述ACBAM注意力模块表示应用自适应池化层的通道空间注意力模块;

将处理后的所述第一特征图像分别通过主干网络和两个残差块进行处理后的输出结果,通过降维处理和加权融合,生成第二特征图像;

将所述第二特征图像进行通道分割为两部分,将其中一部分进行三层空洞空间金字塔池化后与另一部分进行通道拼接,并进行通道压缩和特征整合处理,生成第三特征图像;

对所述第三特征图像进行卷积操作,并经过先验框进行位置采样,生成预测框;根据所述预测框和所述预测框对应的类别置信度,计算每个所述预测框的置信度得分,使用非极大值抑制算法对置信度得分高的预测框进行筛选,获取所述密集小目标图像中的密集小目标分布情况。

2.根据权利要求1所述一种基于YOLOv7网络对密集小目标的检测方法,其特征在于:在生成输入图像的过程中,采集具有小目标相互遮挡情况的所述密集小目标图像,通过LabelImg标注工具进行标注后,转换成COCO数据集;

将所述COCO数据集的图像,通过letterbox技术进行预处理后,通过所述Mosaic处理,生成所述输入图像,其中,所述Mosaic处理表示有80%的几率用四张图片做拼接,20%的几率用9张图片做拼接。

3.根据权利要求2所述一种基于YOLOv7网络对密集小目标的检测方法,其特征在于:在通过SODL小目标检测网络进行多层特征融合的过程中,设置先验框大小为12×16,中心点坐标为(19,36),对所给定的输入以不同采样率的空洞卷积并行采样,获得多尺度特征图后对特征图进行处理,将通道数进行调整,实现所述多层特征融合。

4.根据权利要求3所述一种基于YOLOv7网络对密集小目标的检测方法,其特征在于:在实现所述多层特征融合的过程中,所述多层特征融合包括以下步骤:使用6、12、18的空洞率对所述输入图像进行卷积操作,使用公式得到多个不同尺度的特征图,其中, 表示3×3的卷积操作, 是输入特征图,表示不同的空洞率;

使用全局池化层进行池化操作,接下来,将这些不同尺度的特征图拼接在一起,得到多尺度特征图;

使用1x1的卷积层对多尺度特征图进行卷积操作,将其压缩为一个输出特征图,生成所述第一特征图像。

5.根据权利要求4所述一种基于YOLOv7网络对密集小目标的检测方法,其特征在于:在通过ACBAM注意力模块进行特征重要性加权的过程中,对所述第一特征图像,通过自适应 池 化层 ,进行 降 维操 作 ,得 到通 道 维度 的 全局 平 均值 z ,其 中 ,,式中,H,W分别表示高度、宽度,M表示第一特征图像;

根据全局平均池化,对降维后的所述第一特征图像进行池化操作后,通过第一全连接层压缩为一维向量y,并通过第二全连接层进行Sigmoid激活;

将将Sigmoid激活的向量和所述第一特征图像对应元素相乘,得到加权的通道特征图M'其中,所述通道特征图M'表示为:式中, 为第一全连接层的权重, 为第二全连接层的权重;

将通道特征图M’作为输入特征图,使用一个3×3的卷积层来提取通道特征图M’的空间信息,得到空间特征图N';

对空间特征图N'进行自适应池化操作,得到一个 大小的向量,然后,将N'通过卷积层得到权重向量s并通过全连接层进行Sigmoid激活,将通过Sigmoid激活的权重向量s和N'对应元素相乘,得到加权的空间特征图N'',其中,所述空间特征图N''表示为:其中, 为卷积层

的权重, 为全连接层的权重, 为Sigmoid激活函数;

第四步,将所述通道特征图M'和所述空间特征图N''拼接在一起作为输出最后的特征图,并经过CBS卷积层和ELAN模块依次进行处理,得到处理后的所述第一特征图像,其中,将所述通道特征图M'和所述空间特征图N''拼接在一起的矩阵形式如下所示:其中,是特征图的像素数目, 和 的维度相同。

6.根据权利要求5所述一种基于YOLOv7网络对密集小目标的检测方法,其特征在于:在通过残差块对第一特征图像进行处理的过程中,将输入到所述残差块的输入特征图经过一个1x1的卷积层,将通道数降为原来的一半,同时得到一个下采样的特征图,并分成两个部分:主干部分和分支部分,其中,主干部分包含了大部分的卷积操作,而分支部分主要用来提取更多的特征信息;

对所述主干部分依次通过第一1x1卷积、第一3x3卷积和第二1x1卷积进行卷积操作,其中,第一1x1卷积用来减小通道数,第一3x3卷积用来提取特征,第二1x1卷积用来恢复通道数;

对所述分支部分依次通过第三1x1卷积和第二3x3卷积进行卷积操作,其中,第三1x1卷积用来减小通道数,第二3x3卷积用来提取特征;

将所述主干部分和所述分支部分的输出结果进行拼接,得到所述残差块的最终的输出特征图。

7.根据权利要求6所述一种基于YOLOv7网络对密集小目标的检测方法,其特征在于:在生成第二特征图像的过程中,对主干网络输出的特征图进行一次 的卷积,将通道数进行变换,得到尺寸为 的第一特征子图;

对一个残差块输出的特征图进行一次 的卷积和一次 的卷积,将其尺度变换为的第二特征子图;

对另一个残差块输出的特征图进行一次 的卷积和一次 的卷积,将其尺度变换为的第三特征子图;

将所述第一特征子图、所述第二特征子图、所述第三特征子图分别进行通道数降维,将其压缩到相同的通道数,并进行加权融合,得到所述第二特征图像。

8.根据权利要求7所述一种基于YOLOv7网络对密集小目标的检测方法,其特征在于:在生成第三特征图像的过程中,将所述第二特征图像通过一个卷积层进行通道分割,将通道数分成 和 ;

将 部分的特征图进行三层空洞空间金字塔池化,分别使用不同大小的池化核对特征图进行池化,得到三个不同尺度的池化结果,并经过 的卷积进行通道压缩,以得到每个池化结果的特征图表示;

将 和三个所述特征图表示进行通道拼接,得到一个维度为 的特征图,通过 的卷积进行通道压缩和特征整合,生成所述第三特征图像。

9.根据权利要求8所述一种基于YOLOv7网络对密集小目标的检测方法,其特征在于:在使用非极大值抑制算法对置信度得分高的预测框进行筛选的过程中,采用二元交叉熵损失函数预测给定边界框位置是否有物体存在;

采用交叉熵损失函数预测物体类别;

采用平方误差损失函数预测边界框的坐标信息;

基于GIOU计算先前计算的损失,以缩小真实框和先验框之间的距离;

针对小目标存在的旋转情况,采用sin‑cos值的方式给出旋转角度的预测值,并通过角度偏移损失约束模型的学习;

针对小目标呈现的不同的宽高比例,通过约束模型学习适应不同比例下的边框。

10.一种基于YOLOv7网络对密集小目标的检测系统,其特征在于,包括:数据采集模块,用于采集密集小目标图像;

数据处理模块,用于对所述密集小目标图像进行Mosaic处理,生成YOLOv7骨干网络的输入图像;

多层特征融合模块,用于将所述输入图像,通过SODL小目标检测网络进行多层特征融合,生成第一特征图像,所述SODL通过在空间空洞卷积和池化层中引入不同采样率的空洞卷积核和池化核,以获得不同感受野的特征图;

加权处理模块,用于通过ACBAM注意力模块,对所述第一特征图像进行通道维度上的特征重要性加权,并经过CBS卷积层和ELAN模块依次进行处理,其中,所述ACBAM注意力模块表示应用自适应池化层的通道空间注意力模块;

加权融合模块,用于将处理后的所述第一特征图像分别通过主干网络和两个残差块进行处理后的输出结果,通过降维处理和加权融合,生成第二特征图像;

池化模块,用于将所述第二特征图像进行通道分割为两部分,将其中一部分进行三层空洞空间金字塔池化后与另一部分进行通道拼接,并进行通道压缩和特征整合处理,生成第三特征图像;

预测模块,用于对所述第三特征图像进行卷积操作,并经过先验框进行位置采样,生成预测框;根据所述预测框和所述预测框对应的类别置信度,计算每个所述预测框的置信度得分,使用非极大值抑制算法对置信度得分高的预测框进行筛选,获取所述密集小目标图像中的密集小目标分布情况。