1.基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法,其特征在于,包括:S1、构造基于多时相异源遥感影像的海工平台数据集;
S2、构建基于YOLOv8网络结构的伪孪生网络的海工平台目标检测模型,将YOLOv8网络结构原有的单分支主干特征提取结构改造为能够同时输入不同时相的SAR影像和光学影像的海工平台目标检测模型的主干特征提取网络结构,获得各个分支上的三个不同尺度的有效特征层;再分别构建基于光学和SAR影像的特征增强网络层,实现各个分支上的有效特征层进一步的特征提取,提升模型对于海工平台小目标的特征提取能力;并在特征增强网络层Neck部分的最后一层中分别对光学和SAR影像的三个有效特征层进行特征融合,以获得不同尺度的特征信息;最后通过YOLO Head实现分类和回归操作得到预测和回归结果;
将YOLOv8网络结构原有的单分支主干特征提取结构改造为能够同时输入不同时相的SAR影像和光学影像的海工平台目标检测模型的主干特征提取网络结构,获得各个分支上的三个不同尺度的有效特征层,具体为:(1)在光学分支和SAR分支同时使用C2f_CloAtt结构,C2f_CloAtt结构是在每个bottleneck部分引入CloAttention模块,C2f_CloAtt结构包括C2f模块和CloAttention模块,CloAttention模块由一个局部分支和一个全局分支组成,在全局分支中,通过下采样和自注意力机制来有效提取海工平台数据集中的低频全局信息,表达式为:Xglobal=Attntion(Qg,Pool(Kg),Pool(Vg))其中,Qg为全局分支中的查询张量,表示在全局分支中从遥感影像中提取的特征向量,用于在遥感影像中寻找与海工平台相关的目标;Kg为全局分支中的键张量,表示在全局分支中在遥感影像中不同位置的特征向量,用于与Qg进行比较,确定哪些位置与当前关注的海工平台目标相关;Vg为全局分支中的值张量,表示在全局分支中遥感影像中各个位置的特征表示,当某个位置与Qg匹配时,该位置的Vg被用于更新海工平台目标识别的结果;Pool(Kg)、Pool(Vg)分别为对Kg、Vg进行池化操作;Attntion为自注意力函数;Xglobal为加权后的全局特征;
在局部分支中采用AttnConv,在AttnConv结构中与标准注意力相同;在局部分支中首先通过特征向量进行全连接神经网络线性变换得到对应的Qp,Kp,Vp,表达式为:Qp,Kp,Vp=FC(Xin)
其中,Qp表示在局部分支中从遥感影像中提取的特征向量,用于在遥感影像中寻找与海工平台相关的目标;Kp表示在局部分支中在遥感影像中不同位置的特征向量,用于与Qp进行比较,确定哪些位置与当前关注的海工平台目标相关;Vp表示在局部分支中遥感影像中各个位置的特征表示,当某个位置与Qp匹配时,该位置的Vp被用于更新海工平台目标识别的结果;Xin是AttnConv的输入特征向量,FC表示全连接神经网络;
其次,在全连接神经网络进行线性变换后分别对Qp,Kp,Vp使用深度可分离卷积,增强网络分支对局部信息的感知能力,实现保留空间信息的同时提高计算效率,表达式为:Vs=DWconv(Vp)
Ql=DWconv(Qp)
Kl=DWconv(Kp)
其中,Vs为在局部分支中经过深度可分离卷积处理后的值张量;Ql为在局部分支中经过深度可分离卷积处理后的查询张量;Kl为在局部分支中经过深度可分离卷积处理后的键张量;DWconv为深度可分离卷积函数;
然后,通过对Ql,Kl进行哈达玛积(Hardmard),并对结果通过一个全连接层和应用Swish激活函数,以及另一个全连接层,最终生成一个介于‑1到1之间的上下文感知权重,表达式为:Attnt=FC(Swish(FC(Ql⊙Kl)))
其中,⊙是哈达玛积(Hardmard),Swish是Swish激活函数,Attnt是原始上下文感知权重,FC是全连接神经网络;
通过Tanh函数对原始的上下文感知权重进行归一化,表达式为:
其中,d是原始上下文感知权重的通道数,Attn是经过非线性变换生成的最终的上下文感知权重;
然后,将最终的上下文感知权重Attn与Vs生成加权后的局部特征,表达式为:Xlocal=(Attn⊙Vs)
其中,Xlocal是加权后的局部特征表示;
然后,在通道维度上将全局分支和局部分支的输出通过Concat串联,并在通道维度上应用一个全连接层网络,如下所示:Xt=Concat(Xlocal,Xglobal)
Xout=FC(Xt)
其中,Xt是拼接后的局部特征与全局特征表示;Xout是在给定Xt后全连接层网络输出的特征表示;
(2)在SAR分支上,利用空间深度转换卷积SPD_Conv替换SAR分支主干提取网络的Conv操作,实现将图像空间信息转为深度信息;
(3)在光学分支和SAR分支的主干特征提取网络中,分别得到三个不同尺度的有效特征层,并在每个分支的最后一个有效特征层中通过引入SPPF结构进行特征提取;SPPF结构通过使用最大池化进行特征提取;
S3、基于步骤S1中的基于多时相异源遥感影像的海工平台数据集训练步骤S2构建的海工平台目标检测模型,得到适用于该数据集场景的预测网络模型;
S4、将待检测的光学和SAR影像对输入步骤S3得到的预测网络模型,输出待检测的光学和SAR影像对中的海工平台目标检测框的位置信息。
2.根据权利要求1所述的基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法,其特征在于,步骤S1具体包括:(1)选取多个不同时间获取的具有相同空间范围的哨兵1号、哨兵2号遥感影像作为数据源,将数据源裁剪为预设像素尺寸,并进行标注,形成一套基于多时相异源遥感影像的海工平台数据集,数据集包括:海工平台的光学影像与SAR影像对以及对应的标签文件;
(2)对基于多时相异源遥感影像的海工平台数据集进行数据样本扩充预处理,同时,在数据集中添加负样本进行样本数据集增强;
(3)将增强后的基于多时相异源遥感影像的海工平台数据集划分为训练集和验证集。
3.根据权利要求2所述的基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法,其特征在于,步骤(1)中将数据源裁剪为预设像素尺寸,并进行标注,具体为:将数据源裁剪为预设像素的统一尺寸,光学影像和SAR影像的裁剪区域相同,并筛选出有海工平台的影像;将裁剪后的影像对通过Labelimg软件进行手动标注形成一套基于多时相异源遥感影像的海工平台数据集。
4.根据权利要求2所述的基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法,其特征在于,步骤(2)中数据样本扩充的方法为颜色抖动,通过调整光学影像的色相、亮度和饱和度进行数据增强;负样本为船舶和海上风电。
5.根据权利要求1所述的基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法,其特征在于,步骤S2中分别构建基于光学和SAR影像的特征增强网络层,实现各个分支上的有效特征层进一步的特征提取,具体为:将各个分支上的主干特征提取网络中所得到的三个有效特征层,传输至特征增强网络层的Neck结构中,通过上、下采样进一步加强特征提取;
在SAR分支传输进来的三个有效特征层中,通过SPD_Conv替代了模型原有的步长卷积和池化层,利用空间深度层SPD将特征图的空间维度信息转换成深度维度信息,通过增加通道数来保留更多信息,再通过非步长卷积层,保持空间维度的同时减少了通道数;
在光学分支上,通过融合上下文注意力模块(CAM)获得含有空间注意力的特征图并通过计算目标位置显著性从而发现感兴趣的目标物,即海工平台,更进一步关注海工平台目标物,实现加强特征提取。
6.根据权利要求5所述的基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法,其特征在于,在光学分支上实现加强特征提取,具体为:在其中一个分支中,CAM通过将输入特征进行最大池化和平均池化操作并在通道维度上进行融合,能够生成包含空间注意力的特征图;在另一个分支中,则通过卷积操作计算注意力图,反映邻近像素对局部空间维度中位置显著性的影响;最后在通道中对两个分支上的特征进行拼接;因此,在有效特征层Fp,p∈{1,2,...,n},CAM表示为:att1=σ(Conv3×3(Concat(max(Fp),avg(Fp))))att2=σ(Conv3×3(Fp))
CAM=att1+att2
其中,σ表示sigmoid操作;Conv3×3表示3×3的卷积操作;max(·)与avg(·)分别代表通道维度的最大池化与平均池化;att1为CAM其中一个分支上的注意力特征图;att2为CAM另一个分支上的注意力特征图。
7.基于多时相异源遥感影像与伪孪生网络的海工平台目标检测系统,其特征在于,包括:数据集构建模块,用于构造基于多时相异源遥感影像的海工平台数据集;
模型构建模块,用于构建基于YOLOv8网络结构的伪孪生网络的海工平台目标检测模型,将YOLOv8网络结构原有的单分支主干特征提取结构改造为能够同时输入不同时相的SAR影像和光学影像的海工平台目标检测模型的主干特征提取网络结构,获得各个分支上的三个不同尺度的有效特征层;再分别构建基于光学和SAR影像的特征增强网络层,实现各个分支上的有效特征层进一步的特征提取,提升模型对于海工平台小目标的特征提取能力;并在特征增强网络层Neck部分的最后一层中分别对光学和SAR影像的三个有效特征层进行特征融合,以获得不同尺度的特征信息;最后通过YOLO Head实现分类和回归操作得到预测和回归结果;
将YOLOv8网络结构原有的单分支主干特征提取结构改造为能够同时输入不同时相的SAR影像和光学影像的海工平台目标检测模型的主干特征提取网络结构,获得各个分支上的三个不同尺度的有效特征层,具体为:(1)在光学分支和SAR分支同时使用C2f_CloAtt结构,C2f_CloAtt结构是在每个bottleneck部分引入CloAttention模块,C2f_CloAtt结构包括C2f模块和CloAttention模块,CloAttention模块由一个局部分支和一个全局分支组成,在全局分支中,通过下采样和自注意力机制来有效提取海工平台数据集中的低频全局信息,表达式为:Xglobal=Attntion(Qg,Pool(Kg),Pool(Vg))其中,Qg为全局分支中的查询张量,表示在全局分支中从遥感影像中提取的特征向量,用于在遥感影像中寻找与海工平台相关的目标;Kg为全局分支中的键张量,表示在全局分支中在遥感影像中不同位置的特征向量,用于与Qg进行比较,确定哪些位置与当前关注的海工平台目标相关;Vg为全局分支中的值张量,表示在全局分支中遥感影像中各个位置的特征表示,当某个位置与Qg匹配时,该位置的Vg被用于更新海工平台目标识别的结果;Pool(Kg)、Pool(Vg)分别为对Kg、Vg进行池化操作;Attntion为自注意力函数;Xglobal为加权后的全局特征;
在局部分支中采用AttnConv,在AttnConv结构中与标准注意力相同;在局部分支中首先通过特征向量进行全连接神经网络线性变换得到对应的Qp,Kp,Vp,表达式为:Qp,Kp,Vp=FC(Xin)
其中,Qp表示在局部分支中从遥感影像中提取的特征向量,用于在遥感影像中寻找与海工平台相关的目标;Kp表示在局部分支中在遥感影像中不同位置的特征向量,用于与Qp进行比较,确定哪些位置与当前关注的海工平台目标相关;Vp表示在局部分支中遥感影像中各个位置的特征表示,当某个位置与Qp匹配时,该位置的Vp被用于更新海工平台目标识别的结果;Xin是AttnConv的输入特征向量,FC表示全连接神经网络;
其次,在全连接神经网络进行线性变换后分别对Qp,Kp,Vp使用深度可分离卷积,增强网络分支对局部信息的感知能力,实现保留空间信息的同时提高计算效率,表达式为:Vs=DWconv(Vp)
Ql=DWconv(Qp)
Kl=DWconv(Kp)
其中,Vs为在局部分支中经过深度可分离卷积处理后的值张量;Ql为在局部分支中经过深度可分离卷积处理后的查询张量;Kl为在局部分支中经过深度可分离卷积处理后的键张量;DWconv为深度可分离卷积函数;
然后,通过对Ql,Kl进行哈达玛积(Hardmard),并对结果通过一个全连接层和应用Swish激活函数,以及另一个全连接层,最终生成一个介于‑1到1之间的上下文感知权重,表达式为:Attnt=FC(Swish(FC(Ql⊙Kl)))
其中,⊙是哈达玛积(Hardmard),Swish是Swish激活函数,Attnt是原始上下文感知权重,FC是全连接神经网络;
通过Tanh函数对原始的上下文感知权重进行归一化,表达式为:
其中,d是原始上下文感知权重的通道数,Attn是经过非线性变换生成的最终的上下文感知权重;
然后,将最终的上下文感知权重Attn与Vs生成加权后的局部特征,表达式为:Xlocal=(Attn⊙Vs)
其中,Xlocal是加权后的局部特征表示;
然后,在通道维度上将全局分支和局部分支的输出通过Concat串联,并在通道维度上应用一个全连接层网络,如下所示:Xt=Concat(Xlocal,Xglobal)
Xout=FC(Xt)
其中,Xt是拼接后的局部特征与全局特征表示;Xout是在给定Xt后全连接层网络输出的特征表示;
(2)在SAR分支上,利用空间深度转换卷积SPD_Conv替换SAR分支主干提取网络的Conv操作,实现将图像空间信息转为深度信息;
(3)在光学分支和SAR分支的主干特征提取网络中,分别得到三个不同尺度的有效特征层,并在每个分支的最后一个有效特征层中通过引入SPPF结构进行特征提取;SPPF结构通过使用最大池化进行特征提取;
模型训练模块,用于基于数据集构建模块构造的基于多时相异源遥感影像的海工平台数据集训练模型构建模块构建的海工平台目标检测模型,得到适用于该数据集场景的预测网络模型;
测试模块,用于将待检测的光学和SAR影像对输入模型训练模块得到的预测网络模型,输出待检测的光学和SAR影像对中的海工平台目标检测框的位置信息。
8.一种电子设备,其特征在于,所述设备包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行如权利要求1‑7任一项所述的基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令被调用时,用于执行如权利要求1‑7任一项所述的基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法的步骤。