1.一种面向低分辨率图像的目标检测方法,其特征在于包括以下步骤:
(1)获取高分辨率图像目标检测训练数据集:从公共数据库中获取原始高分辨率图像和对应的检测标签;
(2)创建低分辨率图像目标检测训练数据集:采用降质模型对步骤(1)得到的高分辨率训练数据集中的每幅高分辨率图像进行降质,得到对应的低分辨图像,将这些一一对应的由高、低分辨率图像组成的图像对集合和这些图像对所对应的检测标签作为低分辨率图像目标检测训练数据集;
(3)构建低分辨率图像目标检测模型:该模型由任务分解增强网络和检测网络构成,具体的构建过程包括以下步骤:(3‑a)构建任务分解增强网络:该网络由图像复原支路、分辨率增强支路构成;图像复原支路和分辨率增强支路分别构建如下:(3‑a‑1)构建图像复原支路:该支路由共享特征提取器1、卷积层1和逐像素相加操作构成;输入图像IL依次经过共享特征提取器1、卷积层1后,得到的结果与IL进行逐像素相加,得到中间复原图像II,完成图像复原支路的构建;
(3‑a‑2)构建分辨率增强支路:该支路由共享特征提取器2、双线性插值操作1、双线性插值操作2、像素洗牌层和逐像素相加操作构成;将步骤(3‑a‑1)得到的中间复原图像II输入到共享特征提取器2,得到的结果经双线性插值操作1处理后,得到中间特征图XE;将XE输入到像素洗牌层,得到的结果与II经双线性插值操作2处理后的结果进行逐像素相加,得到增强图像IS,完成分辨率增强支路的构建;
所述共享特征提取器1和共享特征提取器2具有相同的结构,都由卷积层2、残差单元1、残差单元2构成;共享特征提取器的输入依次经过卷积层2、残差单元1、残差单元2,得到共享特征提取器的输出;
(3‑b)构建检测网络:该网络由骨干模块、颈部模块、头部模块和辅助特征增强头模块构成;步骤(3‑a‑2)中的增强图像IS依次经过骨干模块、颈部模块,得到中间特征图XD;将XD和步骤(3‑a‑2)得到的中间特征图XE共同输入到辅助特征增强头模块,得到特征图XO;将XD输入到头部模块,得到目标检测结果;
所述辅助特征增强头模块,由卷积层3、多头转置跨注意力模块、门控深度卷积前馈模块、残差单元3、残差单元4、卷积层4和逐像素相加操作构成;XD输入到卷积层3,得到中间特征图XC;XC和XE共同输入到多头转置跨注意力模块,得到中间特征图 输入到门控深度卷积前馈模块,得到中间特征图XF;XF依次经过残差单元3、残差单元4后,与XC进行逐像素相加,相加后的结果作为卷积层4的输入,得到特征图XO;
所述多头转置跨注意力模块,由层归一化层1、层归一化层2、卷积层5、卷积层6、卷积层
7、深度卷积层1、深度卷积层2、深度卷积层3、卷积层8、Softmax层、矩阵相乘操作、矩阵重塑操作、逐像素相加操作构成;XC依次经过层归一化层1、卷积层5、深度卷积层1后,通过矩阵重塑得到中间特征图QC;XE输入到层归一化层2,得到中间特征图ZE;ZE依次经过卷积层6、深度卷积层2后,通过矩阵重塑得到中间特征图KE;ZE依次经过卷积层7、深度卷积层3后,通过矩阵重塑得到中间特征图VE;将KE与QC进行矩阵相乘,得到的结果经Softmax层后再与VE进行矩阵相乘,得到中间特征图XU;XU通过矩阵重塑后输入到卷积层8,得到的结果再与XC进行逐像素相加,得到中间特征图所述门控深度卷积前馈模块,由层归一化层3、卷积层9、卷积层10、深度卷积层4、深度卷积层5、GELU层、卷积层11、逐像素相乘操作、逐像素相加操作构成; 输入到层归一化层
3,得到中间特征图XP;XP依次经过卷积层9、深度卷积层4,得到中间特征图 XP依次经过卷积层10、深度卷积层5、GELU层,得到中间特征图 与 进行逐像素相乘,得到的结果经卷积层11后,与 逐像素相加,得到中间特征图XF;
(4)构建损失函数:
构建以下联合损失函数:
L=LIR+LRE+LAFE+LDet
其中LIR表示图像复原损失函数,LRE表示分辨率增强损失函数,LAFE表示辅助特征增强损失函数,LDet表示检测损失函数; 表示第i幅高分辨率图像, 表示将 所对应的低分辨率图像输入到步骤(3‑a‑1)所述图像复原支路后得到的中间复原图像; 表示将 输入到步骤(3‑a‑2)所述分辨率增强支路后,得到的增强图像;B(·)为双三次插值函数;XO为步骤(3‑b)得到的特征图,XVGG表示将 输入到VGG16网络的预训练模型后得到的中间特征图;N表示训练图像的批量大小,‖·‖1表示L1范数;
(5)训练模型:利用步骤(2)得到的低分辨率图像目标检测训练数据集训练步骤(3)构建完成的低分辨率图像目标检测模型,根据步骤(4)构建的损失函数得到损失值,并使用Adam优化器更新模型参数,直到损失不再下降,得到训练好的模型;
(6)低分辨率图像目标检测:用步骤(5)中训练好的低分辨率图像目标检测模型对测试集中的低分辨率图像进行目标检测,得到最终检测结果。
2.如权利要求1所述的一种面向低分辨率图像的目标检测方法,其特征在于,所述步骤(3‑b)中的骨干模块采用的是ResNet18。
3.如权利要求1所述的一种面向低分辨率图像的目标检测方法,其特征在于,所述步骤(3‑b)中的颈部模块采用的是CenterNet算法原有的颈部模块。
4.如权利要求1所述的一种面向低分辨率图像的目标检测方法,其特征在于,所述步骤(3‑b)中的头部模块采用的是CenterNet算法原有的头部模块。
5.如权利要求1所述的一种面向低分辨率图像的目标检测方法,其特征在于,所述步骤(3)中的残差单元1、2、3、4具有相同的结构,都由卷积层12、ReLU层、卷积层13和逐像素相加操作构成;残差单元的输入特征图依次经过卷积层12、ReLU层和卷积层13后,得到的结果再与该残差单元的输入特征图逐像素相加,得到残差单元的输出。
6.如权利要求1所述的一种面向低分辨率图像的目标检测方法,其特征在于,所述步骤(4)中的N为正整数,且N∈[1,64]。
7.如权利要求1所述的一种面向低分辨率图像的目标检测方法,其特征在于,所述步骤(4)中的检测损失函数LDet采用CenterNet算法原有的检测损失函数。