利索能及
我要发布
收藏
专利号: 2024114081629
申请人: 佛山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种轻量级复杂场景图像融合模型,其特征在于,包括第一输入层(1),由第一卷积层(2)、第一ReLU激活函数层(3)和频域融合模块(4)依次连接而成的频域通道,由第二卷积层(5)、第二ReLU激活函数层(6)和空间域融合模块(7)依次连接而成的空间域通道,第三卷积层(8),第三ReLU激活函数层(9)以及第一输出层(10);所述第一输入层(1)用于输入相互配准的红外光图像和可见光图像,所述频域通道的输入端以及所述空间域通道的输入端均与所述第一输入层(1)的输出端连接,所述第三卷积层(8)和所述第三ReLU激活函数层(9)前后连接,所述频域通道的输出和所述空间域通道的输出逐元素相加后输入所述第三卷积层(8),所述第三ReLU激活函数层(9)的输出与所述第一输入层(1)的输出逐元素相加后输入所述第一输出层(10);

所述频域融合模块(4)用于对所述第一ReLU激活函数层(3)输出的红外光特征图和可见光特征图进行傅里叶变换得到红外光相位谱、红外光振幅谱、可见光相位谱和可见光振幅谱,利用所述红外光振幅谱引导所述可见光振幅谱进行振幅恢复,并利用所述可见光相位谱引导所述红外光相位谱进行相位恢复,以及利用所述红外光相位谱、所述红外光振幅谱、所述可见光相位谱、所述可见光振幅谱、振幅恢复后的可见光振幅谱以及相位恢复后的红外光相位谱生成频域通道融合特征图;

所述空间域融合模块(7)用于对所述第二ReLU激活函数层(6)输出的红外光特征图和可见光特征图进行稀疏特征提取和融合,生成空间域通道融合特征图。

2.根据权利要求1所述的轻量级复杂场景图像融合模型,其特征在于,所述频域融合模块(4)包括第二输入层(401)、第三输入层(402)、傅里叶变换模块(403)、引导网络(404)、逆傅里叶变换模块(405)、第一卷积块(406)和第二输出层(407);

所述第二输入层(401)和所述第三输入层(402)分别用于输入所述第一ReLU激活函数层(3)输出的可见光特征图和红外光特征图,所述第二输入层(401)的输出端和所述第三输入层(402)的输出端均与所述傅里叶变换模块(403)的输入端连接;

所述傅里叶变换模块(403)用于对所述第一ReLU激活函数层(3)输出的红外光特征图和可见光特征图进行傅里叶变换得到红外光相位谱、红外光振幅谱、可见光相位谱和可见光振幅谱后,输入所述引导网络(404);

所述引导网络(404)用于利用所述红外光振幅谱引导所述可见光振幅谱进行振幅恢复,并利用所述可见光相位谱引导所述红外光相位谱进行相位恢复,以及利用所述红外光相位谱、所述红外光振幅谱、所述可见光相位谱、所述可见光振幅谱、振幅恢复后的可见光振幅谱以及相位恢复后的红外光相位谱生成融合频域特征,把所述融合频域特征输入所述逆傅里叶变换模块(405);

所述逆傅里叶变换模块(405)用于通过傅里叶逆变换把所述融合频域特征转换为空间域特征图,并输入所述第一卷积块(406);

所述第一卷积块(406)用于对所述空间域特征图进行卷积处理得到频域通道融合特征图,并输入所述第二输出层(407)。

3.根据权利要求2所述的轻量级复杂场景图像融合模型,其特征在于,所述引导网络(404)包括深度频域滤波模块(11)、局部注意力模块(12)、第四卷积层(13)、第五卷积层(14)、第六卷积层(15)和第七卷积层(16);

所述红外光振幅谱输入所述深度频域滤波模块(11),得到所述深度频域滤波模块(11)输出的第一引导注意力图,所述第一引导注意力图与所述可见光振幅谱逐元素相乘得到振幅恢复后的可见光振幅谱,所述振幅恢复后的可见光振幅谱输入所述第五卷积层(14),所述第五卷积层(14)的输出与所述可见光振幅谱逐元素相加得到可见光振幅特征;

所述可见光相位谱输入所述第四卷积层(13),得到所述第四卷积层(13)输出的可见光相位特征;

所述可见光振幅特征和所述可见光相位特征结合生成可见光频域特征;

所述可见光相位谱还输入所述局部注意力模块(12),得到所述局部注意力模块(12)输出的第二引导注意力图,所述第二引导注意力图与所述红外光相位谱逐元素相乘得到相位恢复后的红外光相位谱,所述相位恢复后的红外光相位谱输入所述第六卷积层(15),所述第六卷积层(15)的输出与所述红外光相位谱逐元素相加得到红外光相位特征;

所述红外光振幅谱还输入所述第七卷积层(16),得到所述第七卷积层(16)输出的红外光振幅特征;

所述红外光振幅特征和所述红外光相位特征结合生成红外光频域特征;

所述可见光频域特征和所述红外光频域特征相加得到所述融合频域特征。

4.根据权利要求2所述的轻量级复杂场景图像融合模型,其特征在于,所述第一卷积块(406)包括从前到后依次连接的第八卷积层(17)、第四ReLU激活函数层(18)、第九卷积层(19)、第五ReLU激活函数层(20)、第十卷积层(21)和第一Sigmoid激活函数层(22)。

5.根据权利要求3所述的轻量级复杂场景图像融合模型,其特征在于,所述深度频域滤波模块(11)包括第十一卷积层(1101)、BN层(1102)、第六ReLU激活函数层(1103)、第一最大池化层(1104)、全局平均池化层(1105)、第十二卷积层(1106)和第二Sigmoid激活函数层(1107);

所述第十一卷积层(1101)、所述BN层(1102)和所述第六ReLU激活函数层(1103)依次连接,且所述第十一卷积层(1101)的输入端作为所述深度频域滤波模块(11)的输入端;所述第十二卷积层(1106)和所述第二Sigmoid激活函数层(1107)依次连接;所述第六ReLU激活函数层(1103)的输出端分别与所述第一最大池化层(1104)的输入端和所述全局平均池化层(1105)的输入端连接,所述第一最大池化层(1104)的输出端和所述全局平均池化层(1105)的输出端进行通道级联后与所述第十二卷积层(1106)的输入端连接;所述第六ReLU激活函数层(1103)的输出与所述第二Sigmoid激活函数层(1107)的输出逐元素相乘后作为所述深度频域滤波模块(11)的输出。

6.根据权利要求3所述的轻量级复杂场景图像融合模型,其特征在于,所述局部注意力模块(12)包括前后连接的第二最大池化层(1201)和第三Sigmoid激活函数层(1202)。

7.根据权利要求1所述的轻量级复杂场景图像融合模型,其特征在于,所述空间域融合模块(7)包括前后连接的第四输入层(701)和第十三卷积层(702),前后连接的第五输入层(703)和第十四卷积层(704),从前到后依次连接的第三最大池化层(705)、第十五卷积层(706)和第七ReLU激活函数(707)层,由若干个第二卷积块(708)串联而成的卷积通路(709),以及第三输出层(710);

所述第十三卷积层(702)的输出和所述第十四卷积层(704)的输出逐元素相加得到第一融合特征图,所述第一融合特征图输入所述第三最大池化层(705),所述第七ReLU激活函数(707)层的输出与所述第一融合特征图逐元素相乘得到第二融合特征图,所述第二融合特征图输入所述卷积通路(709),所述卷积通路(709)的输出与所述第二融合特征图逐元素相加后输入所述第三输出层(710)。

8.根据权利要求7所述的轻量级复杂场景图像融合模型,其特征在于,所述卷积通路(709)包括三个所述第二卷积块(708),所述第二卷积块(708)包括前后连接的第十六卷积层(7081)和第八ReLU激活函数层(7082)。

9.一种实时图像融合方法,其特征在于,包括步骤:

A1.构建初始的轻量级复杂场景图像融合模型;所述初始的轻量级复杂场景图像融合模型为权利要求1‑8任一项所述的轻量级复杂场景图像融合模型;

A2.对所述初始的轻量级复杂场景图像融合模型进行训练,得到训练后的轻量级复杂场景图像融合模型;

A3.把相互配准的待融合红外光图像和待融合可见光图像输入所述训练后的轻量级复杂场景图像融合模型,得到所述训练后的轻量级复杂场景图像融合模型输出的融合图像。

10.根据权利要求9所述的实时图像融合方法,其特征在于,步骤A2中,基于以下总损失函数对所述初始的轻量级复杂场景图像融合模型进行训练:;

其中, 为总损失函数, 为空间域损失函数, 为频域损失函数, 为所述初始

的轻量级复杂场景图像融合模型的输出图像, 为输入所述初始的轻量级复杂场景图像融合模型的训练样本中的红外光图像, 为输入所述初始的轻量级复杂场景图像融合模型的训练样本中的可见光图像, 表示快速傅里叶变换操作。