1.一种多模态图像融合与去模糊模型,其特征在于,包括第一输入层(1)、第二输入层(2)、第一编码器(3)、第二编码器(4)、多个可见光纹理增强模块(5)、多个高效特征交互融合模块(6)、解码器(7)和第一输出层(8);
所述第一输入层(1)和第二输入层(2)分别用于输入待融合且相互配准的可见光图像和红外图像;所述第一编码器(3)和所述第二编码器(4)均为多层编码器,所述解码器(7)为多层解码器;所述第一编码器(3)用于从所述可见光图像中依次提取不同尺度的可见光特征图,所述可见光特征图包括高频可见光特征图和低频可见光特征图;所述第二编码器(4)用于从所述红外图像中依次提取不同尺度的红外特征图,所述红外特征图包括高频红外特征图和低频红外特征图;
各所述可见光纹理增强模块(5)和各所述高效特征交互融合模块(6)均与各个尺度一一对应;在每个尺度下,所述可见光纹理增强模块(5)用于利用对应的所述高频红外特征图对对应的所述高频可见光特征图进行纹理增强处理,得到对应尺度的增强后的高频可见光特征图;在每个尺度下,所述高频红外特征图和低频红外特征图相加,以及所述增强后的高频可见光特征图和所述低频可见光特征图相加后,一同输入对应的所述高效特征交互融合模块(6)进行融合;
所述解码器(7)用于对各所述高效特征交互融合模块(6)的输出融合特征进行逐层上采样和卷积操作,得到最终的融合图像,并从所述第一输出层(8)输出。
2.根据权利要求1所述的多模态图像融合与去模糊模型,其特征在于,所述第一编码器(3)包括多层第一编码层(301),所述第二编码器(4)包括多层第二编码层(401),所述解码器(7)包括多层解码层(701),所述第一编码层(301)、所述第二编码层(401)、所述解码层(701)、所述可见光纹理增强模块(5)和所述高效特征交互融合模块(6)的数量相同;
所述第一编码器(3)用于通过各层第一编码层(301)从所述可见光图像中依次提取不同尺度的可见光特征图;所述第二编码器(4)用于通过各层第二编码层(401)从所述红外图像中依次提取不同尺度的红外特征图;
所述解码器(7)从最后一层的所述解码层(701)向第一层的所述解码层(701)进行逐层上采样和卷积操作,第一层的所述解码层(701)与所述第一输出层(8)连接;最后两层编码层对应的所述高效特征交互融合模块(6)的输出融合特征输入最后一层的所述解码层(701),从后往前,其它编码层对应的所述高效特征交互融合模块(6)的输出融合特征,依次输入倒数第二层至第二层的所述解码层(701)。
3.根据权利要求1所述的多模态图像融合与去模糊模型,其特征在于,所述可见光纹理增强模块(5)包括第三输入层(501)、第四输入层(502)、第一卷积层(503)、LDC层(504)、Sigmoid激活函数层(505)、第二卷积层(506)和第二输出层(507);
所述第三输入层(501)用于输入高频可见光特征图,所述第四输入层(502)用于输入高频红外特征图,所述第三输入层(501)把所述高频可见光特征图输入所述第一卷积层(503),所述第四输入层(502)把所述高频红外特征图输入所述LDC层(504),所述高频可见光特征图与所述高频红外特征图相减后输入所述Sigmoid激活函数层(505),所述第一卷积层(503)的输出与所述Sigmoid激活函数层(505)的输出相乘后与所述LDC层(504)的输出合并,合并结果输入所述第二卷积层(506),所述第二卷积层(506)的输出端与所述第二输出层(507)连接。
4.根据权利要求3所述的多模态图像融合与去模糊模型,其特征在于,所述LDC层(504)用于执行以下运算:;
其中, 为所述LDC层(504)的输出中的(i,j)像素点的像素值,(i,j)为像素坐标, 为普通卷积核, 为 的(i,j)号元素, 为所述LDC层(504)的输入中的(i,j)像素点的像素值, 为可学习参数, 为3×3的全一矩阵,为可学习描述算子,表示卷积操作, 表示逐元素相乘。
5.根据权利要求1所述的多模态图像融合与去模糊模型,其特征在于,所述高效特征交互融合模块(6)包括第五输入层(601)、第六输入层(602)、交互空间注意力块(603)、交互通道注意力块(604)、第三卷积层(605)和第三输出层(606);
所述第五输入层(601)用于输入可见光融合图,所述可见光融合图为所述增强后的高频可见光特征图和所述低频可见光特征图相加得到的特征图;所述第六输入层(602)用于输入红外融合图,所述红外融合图为所述高频红外特征图和低频红外特征图相加得到的特征图;
所述可见光融合图和所述红外融合图均输入所述交互空间注意力块(603)以及所述交互通道注意力块(604),所述交互空间注意力块(603)的输出和所述交互通道注意力块(604)的输出分别与平均特征图逐元素相乘后输入所述第三卷积层(605);所述平均特征图为所述可见光融合图和所述红外融合图进行平均特征操作得到的特征图;所述第三卷积层(605)的输出与所述平均特征图逐元素相加后输出至所述第三输出层(606)。
6.根据权利要求5所述的多模态图像融合与去模糊模型,其特征在于,所述交互空间注意力块(603)用于执行以下运算:;
所述交互通道注意力块(604)用于执行以下运算:
;
其中, 为空间交互结果, 为通道交互结果,为所述可见光融合图,为所述红外融合图, 为 的转置, 为 的转置, 表示自适应池化操作, 表示卷积操作,为Sigmoid激活函数, 为Softmax激活函数。
7.一种如权利要求1‑6任一项所述的多模态图像融合与去模糊模型的训练方法,其特征在于,包括步骤:A1.获取第一图像数据集,把所述第一图像数据集中的可见光图像从RGB色域转换为YCrCb色域,得到第一训练数据集;所述第一图像数据集包括多组相互配准且无模糊的可见光图像和红外图像;
A2.利用掩码图对所述第一训练数据集中的可见光图像和红外图像进行局部运动模糊处理,得到第二训练数据集;
A3.构建第一模型和第二模型;所述第二模型为所述多模态图像融合与去模糊模型,所述第一模型通过把所述多模态图像融合与去模糊模型中的可见光纹理增强模块(5)去除,并使高频可见光特征图和低频可见光特征图相加后输入对应的高效特征交互融合模块(6)得到;
A4.利用所述第一训练数据集,基于第一总损失函数,训练所述第一模型,得到训练后的第一模型;
A5.利用所述第二训练数据集和训练后的第一模型,基于第二总损失函数,训练所述第二模型,得到训练后的多模态图像融合与去模糊模型。
8.根据权利要求7所述的训练方法,其特征在于,所述第一总损失函数为:;
其中, 为第一总损失函数值, 、 、 为超参数, 为颜色损失,
为细节损失, 为像素强度损失,且有:
;
;
;
其中, 为所述第一模型的输出融合图像, 为与 对应的输入图像中的无模糊的可见光图像, 为与 对应的输入图像中的无模糊的红外图像, 表示把
图像从RGB色域转换为YCrCb色域后提取CB和CR通道进行运算, 代表 的拉普拉斯金字塔分解结果, 代表 的拉普拉斯金字塔分解结果, 代表 的拉普拉斯金字塔分解结果,、 分别为图像的像素高度和像素宽度。
9.根据权利要求7所述的训练方法,其特征在于,所述第二总损失函数为:;
其中, 为第二总损失函数值, 、 、 、 为超参数, 为标签掩码
图 与模糊区域检测图 之间的均方差,标签掩码图 为第二模块当前输入
图像在进行局部运动模糊处理时所使用的掩码图,模糊区域检测图 为通过显著性目标检测方法对第二模块当前输入图像进行模糊区域检测得到的检测图, 为掩码区域的感知损失, 为第一模型和第二模型的高效特征交互融合模块(6)之间的监督损失,为第一模型和第二模型之间的融合结果偏差,且有:;
;
;
;
其中, 为所述第二模型的输出融合图像, 为把第二模型当前输入图像对应的无模糊的图像输入训练后的第一模型得到的训练后的第一模型的输出融合图像,表示把 输入VGG模型时,VGG模型在推理阶段提取的特征, 表示把 输入VGG模型时,VGG模型在推理阶段提取的
特征,为第二模型中的高效特征交互融合模块(6)的数量, 为第二模型的第i个高效特征交互融合模块(6)的输出特征, 为把第二模型当前输入图像对应的无模糊的图像输入训练后的第一模型时,训练后的第一模型的第i个高效特征交互融合模块(6)的输出特征, 为常数。
10.一种如权利要求1‑6任一项所述的多模态图像融合与去模糊模型的使用方法,其特征在于,包括步骤:B1.获取待融合图像,所述待融合图像包括相互配准的可见光源图像和红外源图像;
B2.把所述可见光源图像从RGB色域转换为YCrCb色域,得到转换后的可见光源图像;
B3.把转换后的可见光源图像和所述红外源图像输入训练后的多模态图像融合与去模糊模型,得到训练后的多模态图像融合与去模糊模型输出的融合图像。