1.一种基于双输入网络的偏振图像伪装目标检测方法,其特征是按照如下步骤进行:步骤1、获取具有像素级标注的偏振图像数据集;
步骤1.1、利用偏振相机中的分焦平面旋光仪,在第n次拍摄的场景中获取偏振方向θ分别为0°,45°,90°,135°的一组原始偏振图像 从而获得N个场景下的N组原始偏振图像;其中, 表示第n个场景中偏振方向θ下的原始偏振图像,n∈[1,N];
步骤1.2、对N组原始偏振图像分别进行标注,得到像素级标注图像;且所述像素级标注图像中每个像素点的取值范围在(0,1)之间;以N组原始偏振图像及其对应的像素级标注图像构成偏振图像数据集D并划分为训练数据集Dtr和测试数据集Dte;
步骤2、对第n个场景的一组原始偏振图像进行计算,得到强度图像和线性偏振度图像;
步骤2.1、利用式(1)计算第n个场景中偏振方向θ下的原始偏振图像 的斯托克斯矢量n式(1)中, 表示第n个场景中物体总的光强,即强度图像I , 分别表示第n个场景中垂直和水平两个方向上的线偏振光;
步骤2.2、利用式(2)对所述斯托克斯矢量 进行成像计算,得到第n个场景的线n性偏振度图像DoP;
n n
步骤3、对所述第n个场景的强度图像I 和线性偏振度图像DoP进行数据增强处理,得到第n个场景增强后的强度图像 和线性偏振度图像 并构成第n个偏振图像集合;
n
将第n个场景的像素级标注图像作为所述第n个场景的真实伪装图,记为G ,对所述第nn个场景的真实伪装图G进行数据增强处理,得到数据增强后的真实伪装图步骤4、构建基于双输入网络的偏振图像伪装目标检测模型,包含:编码器、通道降维模块、融合模块、聚合模块和输出模块;
步骤4.1、构建所述编码器是由两个相同结构的Res2Net50骨干网络构成,且所述Res2Net骨干网络是由H个下采样块构成,H个下采样块分别记为DSampleBlock1,…,DSampleBlockh,......,DSampleBlockH;其中,DSampleBlockh表示第h级下采样块,h=1,
2,....,H;且第h级下采样块DSampleBlockh由第h级的X层二维卷积层Dcomv2dh串联而成;
所述第h级的第x层二维卷积层Dcomv2dh,x依次包括:一个卷积层,一个批量归一化以及一个Relu激活函数层组成,其中,第x层的卷积层的卷积核大小为kx;x=1,2,...,X;
当h=1时,将所述第n个偏振图像集合输入第h级下采样块DSampleBlockh中的第h级的X层卷积层Dcomv2dh中进行处理,并分别输出第h级的第n个强度图像特征图 和第h级的第n个偏振度图像特征图 xh,yh,ch分别表示第h级输出的强度图像和偏振度图像 的高度、宽度和通道数;
当h=2,3,...,H时,将第h‑1级的第n个强度图像特征图 和第h‑1级的第n个偏振度图像特征图 输入第h级下采样块DSampleBlockh中进行处理,并得到相应的强度图像特征图 和偏振度图像特征图 从而由第H级二维卷积层Dconv2dH得到最终输出的强度图像特征图 和偏振度图像特征图步骤4.2、构建所述通道降维模块是由多层二维卷积层构成,包括:H个卷积核kh×kh的二维卷积层、H个批量归一化和H个Relu激活函数;
所述强度图像特征图 和偏振度图像特征图 经过所述通道
降维模块的处理后,输出强度图像特征图 和偏振度图像特征图其中,cN表示经过通道降维模块后特征图的通道数;
步骤4.3、构建所述融合模块是由H个融合块组成并分别记为Fusion1,...,Fusionh,...,FusionH,其中,Fusionh表示第h级融合块;
所述第h级融合块Fusionh由第h级的T层二维卷积层Dconv2dh串联后再与第h级上采样层Usampleh连接;所述第h级中第t层二维卷积层Dconv2dh依次包括:一个卷积层,一个批量归一化以及一个Relu激活函数层,其中,第t层的卷积层的卷积核大小为kt×kt;
当h=1时,将强度图像特征图 和偏振度图像特征图 联合输入到第h级融合块Fusionh中的第h级的T层二维卷积层Dconv2dh中进行处理后,分别输出强度图像特征图 和偏振度图像特征图 并进行通道拼接后,输出第h级粗糙特征图
当h=2,3,...,H时,将第h‑1级强度图像特征图 和偏振度图像特征图输入第h级上采样层Usampleh中,将信号的空间分辨率变为输入的a倍后,输出第h‑1级特征图 和
将 与 相加, 与 相加后,
一起输入第h级多层二维卷积层Dcomv2dh中进行处理后,相应输出第h级特征图和 并进行通道拼接后,输出第n个粗糙特征图 从而由与 相加, 与 相加后,一
起输入第H级多层二维卷积层Dcomv2dH中进行处理后,相应输出第H级特征图和 并进行通道拼接后,输出第n个粗糙特征图步骤4.4、构建所述聚合模块是由H‑2个聚合卷积块Dconv2d组成,每个聚合卷积块包括:一个聚合卷积层,一个批量归一化以及一个Relu激活函数层,其中,所述聚合卷积层的卷积核大小为k×k;
将所述融合模块输出的H级粗糙特征图 进行通道拼接后形成跳跃连接并作为聚合模块中第1个聚合卷积块的输入,并依次经过H‑2个聚合卷积块的处理后,输出第n个半精细化特征图resultn;
步骤4.5、所述输出模块由一层卷积层构成,其卷积核大小为b×b的二维卷积;
所述第n个半精细化特征图resultn经过输出模块的处理后输出第n个伪装预测图pren;
步骤5、训练基于双输入网络的偏振图像伪装目标检测模型;
步骤5.1、基于数据增强后的N个场景的强度图像和线性偏振度图像和及其对应的真实伪装图,利用梯度下降法对所述双输入网络的偏振图像伪装目标检测模型进行训练,并使用加权二元交叉熵损失以及加权IoU损失共同作为损失函数,用于计算伪装预测图和真实伪装图之间的损失,以更新网络参数,直到损失函数收敛为止,从而得到最优双输入网络使用偏振图像的伪装目标检测模型;
步骤5.2、以所述最优双输入网络的偏振图像伪装目标检测模型对任意待预测的强度图像和偏振度图像进行伪装目标检测。