1.一种基于雾霾图像目标检测模型的检测方法,其特征在于,包括以下操作:
1)构建边缘感知损失和共现关系的雾霾图像目标检测模型;其包括骨干网络、颈部网络和检测头,在颈部网络中还设有关系注意力模块,该模块包含自注意力分支和共现关系分支;并将检测头内部的损失函数替换为边缘感知损失函数;
所述自注意力分支通过局部窗口计算轻量化的多头自注意力,捕捉局部特征关系;共现关系分支通过辅助检测头的检测结果生成全局共现特征,提供场景级上下文;关系注意力模块的输出将自注意力分支和共现关系分支的输出特征图进行加权相加;
其中,所述共现关系分支先使用辅助检测头提取场景中存在的物体类别,然后将类别映射为高维的嵌入向量,编码不同类别的嵌入向量之间的共现关系;再平均池化生成全局场景表示,并将全局特征传递到所有位置,提供场景级上下文;
所述边缘感知损失函数包括:
;
;
其中,式(5)是边缘交并比的表达式,式(6)为边缘感知损失函数;
为真实目标边界框的掩码,M为预测目标边界框的掩码, 是经过深度索贝尔卷积和开方后得到的边缘特征图;
为边缘交并比损失, 代表欧式距离, 分别代表边界框的中心点坐标、宽和高, 分别代表预测边界框的中心点坐标、宽和高, 分别代表最小外接矩形的对角线长度、宽度和高度, 为真实框与目标框的中心点距离损失,为真实框与目标框的宽度损失, 为真实框与目标框的高度损失;
2)网络模型的训练,选择数据集和模型评价指标;训练过程中,模型通过反向传播优化损失,使预测框逐渐逼近真实框的位置和尺寸;输出的损失值越小,表示预测框与真实框的边缘重叠度越高、中心点越接近、宽高比越一致;
3)得到训练后的模型,用于目标检测。
2.如权利要求1所述的基于雾霾图像目标检测模型的检测方法,其特征在于,所述自注意力分支先对特征图添加位置编码,然后依次对其进行包括卷积、按通道维度划分、按窗口划分、按窗口展开在内的操作,得到用于计算自注意力的查询、索引、内容三个要素;获得的三个要素经过多头自注意力计算然后合并的输出特征图,最终与输入特征图进行残差连接,从而捕捉到局部特征关系。
3.如权利要求2所述的基于雾霾图像目标检测模型的检测方法,其特征在于,自注意力分支基于式(1)和式(2)实现:;
其中, 为共现关系注意力的输入特征图X经过位置编码后的输出, 代表1×
1卷积, 代表按通道维度划分和按窗口划分的操作, 代表按窗口展开的操作;
;
其中, 由式(1)得来, 代表注意力头的数量, 为激活函
数,T表示转置, 代表将不同头的输出进行形状转换达到统一, 代表将之前按通道维度划分和按窗口划分的计算结果进行折叠还原。
4.如权利要求1所述的基于雾霾图像目标检测模型的检测方法,其特征在于,所述共现关系分支还通过训练数据中的共现模式,学习不同类别嵌入向量之间的关系,达到更高的预测精度。
5.如权利要求4所述的基于雾霾图像目标检测模型的检测方法,其特征在于,所述共现关系分支的输出为:;
其中, 为 经过平均池化和拓展到空间维度后得到了共现特征,代表第i个类别,N为类别总数, 为检测结果D中提取类别ID经过映射后的特征向量;[B, C, H, W] 是深度学习模型处理图像数据的标准维度格式,其中B代表批处理大小,C代表通道数,H和W分别代表图像的高和宽。
6.如权利要求4所述的基于雾霾图像目标检测模型的检测方法,其特征在于,所述关系注意力模块的输出表示为:;
为共现关系注意力模块的输出,其中 为分支调节参数,用于平衡自注意力分支输出 与共线分支输出 对输出特征图的贡献程度。
7.如权利要求1所述的基于雾霾图像目标检测模型的检测方法,其特征在于,所述骨干网络、颈部网络和检测头采用基线网络yolov8,在基线网络yolov8的c2f模块的末尾的卷积之后添加上共现关系注意力模块;
所构建的模型中,输入图像首先进入骨干网络,通过多个卷积层与 C2f 模块交替,逐步提取深层语义特征,生成P1到P5多个不同分辨率的特征图;在颈部网络中,通过一个自上而下的路径和一个自下而上的路径将不同层级的特征图进行特征融合,得到特征融合后的P3层、P4层、P5层;最终检测头对其进行检测,并由检测头内部的损失函数评估检测的优劣。
8.如权利要求1所述的基于雾霾图像目标检测模型的检测方法,其特征在于,所述边缘感知损失函数需要三个输入:第一个输入为数据集中标注的真实边界框,通过掩码提取模块从真实边界框中提取出掩码图,并将其输入到边缘交并比损失函数中进行计算;
第二个输入为数据集的原始图像,经过模型的浅层卷积处理后,提取中间层的特征图,并对其进行深度索贝尔卷积处理,随后进行开方操作以获得边缘特征图,随后被输入到边缘交并比损失函数中;
第三个输入为模型的输出预测结果,通过掩码提取模块从预测结果中提取出预测目标边界框的掩码,并将其输入到损失函数中。