1.一种基于语义增强和高斯损失的小目标检测方法,包括以下步骤:
1)将训练集中的图像进行图像预处理操作,包括等比缩放、区域填充、仿射变换和mosaic数据增强;
2)经过处理后的图像之后被输入到Darknet‑53特征提取网络,随着骨干网络的深入,依次输出三个尺度的特征图,记为 ;
3) 随后进入改进后的FPN网络,进行语义增强融合;FPN网络输出后的特征图记为 ;所述语义增强融合,包括语义重组和因子融合,具体步骤如下:(31)首先对 进行语义重组;
(32) 语义重组时先使用1×1的卷积压缩通道,交互各个通道信息的同时,减少计算量;
(33) 使用 大小的卷积层对压缩通道后的特征图进行编码,让每一个通道学习特征处的上下文信息;编码后的特征图记为 ;
(34)用Softmax函数对 进行归一化,使 值总和为1,由此对特征区域实现软选择;
(35)通过 对局部特征区域进行重组;对于一个目标位置为 和以此为中心的正方形区域 ,重组公式如下: (1)其中 可以为 中任意一个,重组后的特征图记为 ;为 的边长;
(36)引入了融合因子 平衡小目标检测中深层与浅层的特征学习; 按以下方式聚合相邻的特征层: (2)
其中 是用于通道匹配的 1 × 1 卷积操作, 表示用于分辨率匹配的2×上采样操作, 通常是用于特征处理的卷积操作, 表示融合因子;把 设置为网络自学习参数,为在网络开始训练前,根据数据集标签计算得到其初始值,该参数参与梯度反向传播,受到损失函数控制,同时为了防止 过大导致网络梯度爆炸,对其有下约束公式: (3)分别是上层和下层特征图对应尺度目标的数量;
4)经过特征融合的特征图进入Head直接预测目标的类别和预测框位置 ;
5)通过高斯Wasserstein距离损失函数对步骤4)得到的预测框结果进行评估,并训练模型。
2.根据权利要求1所述的基于语义增强和高斯损失的小目标检测方法,其特征在于:步骤2)三个特征图 分别为 、 和 。
3.根据权利要求1所述的基于语义增强和高斯损失的小目标检测方法,其特征在于:步骤(35)中的 设为3。
4.根据权利要求1所述的基于语义增强和高斯损失的小目标检测方法,其特征在于:步骤5)所述的高斯Wasserstein距离损失函数,具体方法为:(51);将包围目标的椭圆区域映射为一个2D高斯分布,目标中的点在平面上的分布遵循: (4)表示目标检测数据集中目标使用水平框标注;
(52) 将高斯分布记为 :
(5)
其中d = 2,表示二维高斯分布,u为分布的中心点, , 为Covariance matrix,反映分布的形状,对角线上的元素为 方向和 方向的方差,斜对角线上的元素是和 的协方差,反映点在 方向上的线性相关程度,在水平分布时为0: (6)两个二维高斯分布 和 之间的WSD距离可表示如下: (7)
对于任意两个水平框, ,距离将会退化为:
(8)其中 表示 Frobenius norm,矩阵中每项数的平方和的开方值;预测框与真实框间的WSD距离可以转化为: (9)
其中 , 是真实框的宽高,d表示预测框与真实框间的WSD距离;
(53) 在计算得到d后,需要将d映射到0‑1之间,如下公式是改进的损失函数,增加了对预测框宽高的约束: (10)其中func是映射函数,C是一个归一化参数,在训练过程中自适应的计算C,V 是纵横比,反映预测框宽高和真实框宽高的相似程度,α是由V计算得到;
(11) (12)参数C使得映射函数可以使用更加普遍且简单的函数 , , ,另一方面能更好的拟合不同尺度的目标;在得到IOU后,根据IOU的大小评估模型的表现,并反向传播梯度训练模型;
(54) 在得到IOU值后,根据IOU的大小评估模型的表现,并反向传播梯度训练模型。