利索能及
我要发布
收藏
专利号: 2024107591561
申请人: 武汉工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.红外图像与可见光图像融合方法,其特征在于,包括:

将第一红外图像转换为有色彩信息的第一伪可见光图像,以及将与所述第一红外图像配准的第一可见光图像转换为有可见光细节纹理信息的第一伪红外图像;

基于所述第一红外图像的热辐射信息,提取所述第一红外图像在对应YCrCb色彩模型中的第一Y通道;

基于所述第一伪红外图像的可见光细节纹理信息和热辐射信息,提取所述第一伪红外图像在对应YCrCb色彩模型中的第二Y通道;

基于所述第一伪可见光图像的色彩信息,提取所述第一伪可见光图像在对应YCrCb色彩模型中的CrCb通道;

将所述第一Y通道和所述第二Y通道进行融合以获得目标Y通道,将所述目标Y通道和所述CrCb通道重组获得目标YCrCb色彩模型,并将所述目标YCrCb色彩模型映射为对应的RGB色彩模型,以获得融合后的目标图像;

所述将第一红外图像转换为有色彩信息的第一伪可见光图像是通过第一目标生成器完成的,所述将与所述第一红外图像配准的第一可见光图像转换为有可见光细节纹理信息的第一伪红外图像是通过第二目标生成器完成的,所述第一目标生成器和第二目标生成器通过联合训练完成,所述联合训练过程为:S21、获取多对已配准的第二红外图像和第二可见光图像作为训练集;

S22、从所述训练集中选取一对已配准的第二红外图像和第二可见光图像;

S23、将所述第二红外图像输入到第一初始生成器确定第二伪可见光图像,将所述第二可见光图像输入到第二初始生成器确定第二伪红外图像,并根据所述第二伪可见光图像和所述第二可见光图像确定第一鉴别器的第一鉴别损失,以及根据所述第二伪红外图像和所述第二红外图像确定第二鉴别器的第二鉴别损失;

S24、将所述第二伪可见光图像输入到第二初始生成器确定重建红外图像,将所述第二伪红外图像输入至所述第一初始生成器确定重建可见光图像,并根据所述第二可见光图像、所述第二红外图像、第二伪可见光图像、所述第二伪红外图像、所述重建可见光图像以及所述重建红外图像确定所述第一初始生成器和所述第二初始生成器的总损失;

S25、基于所述第一鉴别损失对所述第一鉴别器进行调整,基于所述第二鉴别损失对所述第二鉴别器进行调整,以及基于所述总损失对所述第一初始生成器和所述第二初始生成器进行调整,并重复执行步骤S22至S25直至迭代预设轮次,和/或,直至所述第一鉴别损失、所述第二鉴别损失和所述总损失收敛,以获得训练好的所述第一目标生成器和所述第二目标生成器。

2.根据权利要求1所述的方法,其特征在于,所述根据所述第二伪可见光图像和所述第二可见光图像确定第一鉴别器的第一鉴别损失,包括:获取所述第一鉴别器将所述第二伪可见光图像识别为对应伪图像的第一损失;

获取所述第一鉴别器将所述第二可见光图像识别为对应真实图像的第二损失;

基于所述第一损失和所述第二损失确定所述第一鉴别损失。

3.根据权利要求1或2所述的方法,其特征在于,所述根据所述第二可见光图像、所述第二红外图像、第二伪可见光图像、所述第二伪红外图像、所述重建可见光图像以及所述重建红外图像确定所述第一初始生成器和所述第二初始生成器的总损失,包括:基于所述第二伪可见光图像和所述第二伪红外图像,确定对抗损失;

基于所述第二可见光图像、所述重建可见光图像、所述第二红外图像和所述重建红外图像,确定感知风格循环一致性损失;

基于所述第二可见光图像、所述重建可见光图像、所述第二红外图像和所述重建红外图像,确定全局结构张量感知损失;

基于所述对抗损失、所述感知风格循环一致性损失以及所述全局结构张量感知损失,确定所述第一初始生成器和所述第二初始生成器的总损失。

4.根据权利要求3所述的方法,其特征在于,所述基于所述第二伪可见光图像和所述第二伪红外图像,确定对抗损失,包括:获取所述第一鉴别器将所述第二伪可见光图像识别为对应真实图像的第一识别损失;

获取所述第二鉴别器将所述第二伪红外图像识别为对应真实图像的第二识别损失;

基于所述第一识别损失和所述第二识别损失,确定所述对抗损失。

5.根据权利要求3所述的方法,其特征在于,所述基于所述第二可见光图像、所述重建可见光图像、所述第二红外图像和所述重建红外图像,确定感知风格循环一致性损失,包括:获取所述第二可见光图像和所述重建可见光图像之间的感知差异和风格差异,分别获得第一感知损失和第一风格损失;

获取所述第二红外图像和所述重建红外图像之间的感知差异和风格差异,分别获得第二感知损失和第二风格损失;

基于所述第一感知损失、第一风格损失、第二感知损失以及第二风格损失确定所述感知风格循环一致性损失。

6.根据权利要求3所述的方法,其特征在于,所述基于所述第二可见光图像、所述重建可见光图像、所述第二红外图像和所述重建红外图像,确定全局结构张量感知损失,包括:分别获取所述第二可见光图像、所述重建可见光图像、所述第二红外图像以及所述重建红外图像的结构张量信息;

将所述第二可见光图像和所述重建红外图像的结构张量信息融合,获得第一融合结构张量信息;

将所述第二可见光图像和所述第二红外图像的结构张量信息融合,获得第二融合结构张量信息;

将所述重建可见光图像和所述第二红外图像的结构张量信息融合,获得第三融合结构张量信息;

基于所述第一融合结构张量信息、第二融合结构张量信息以及所述第三融合结构张量信息,确定所述全局结构张量感知损失。

7.红外图像与可见光图像融合系统,其特征在于,包括:

转换模块,用于将第一红外图像转换为有色彩信息的第一伪可见光图像,以及将与所述第一红外图像配准的第一可见光图像转换为有可见光细节纹理信息的第一伪红外图像;

第一提取模块,用于基于所述第一红外图像的热辐射信息,提取所述第一红外图像在对应YCrCb色彩模型中的第一Y通道;

第二提取模块,用于基于所述第一伪红外图像的可见光细节纹理信息和热辐射信息,提取所述第一伪红外图像在对应YCrCb色彩模型中的第二Y通道;

第三提取模块,用于基于所述第一伪可见光图像的色彩信息,提取所述第一伪可见光图像在对应YCrCb色彩模型中的CrCb通道;

图像融合模块,用于将所述第一Y通道和所述第二Y通道进行融合以获得目标Y通道,将所述目标Y通道和所述CrCb通道重组获得目标YCrCb色彩模型,并将所述目标YCrCb色彩模型映射为对应的RGB色彩模型,以获得融合后的目标图像;

所述转换模块,具体用于通过第一目标生成器将第一红外图像转换为有色彩信息的第一伪可见光图像,通过第二目标生成器将与第一红外图像配准的第一可见光图像转换为有可见光细节纹理信息的第一伪红外图像;其中,第一目标生成器和第二目标生成器通过联合训练完成;联合训练过程通过训练集获取单元、选取单元、鉴别器损失单元、生成器损失单元以及参数调整单元对第一目标生成器和第二目标生成器进行联合训练;

训练集获取单元,用于获取多对已配准的第二红外图像和第二可见光图像作为训练集;

选取单元,用于从训练集中选取一对已配准的第二红外图像和第二可见光图像;

鉴别器损失单元,用于将第二红外图像输入到第一初始生成器确定第二伪可见光图像,将第二可见光图像输入到第二初始生成器确定第二伪红外图像,并根据第二伪可见光图像和第二可见光图像确定第一鉴别器的第一鉴别损失,以及根据第二伪红外图像和第二红外图像确定第二鉴别器的第二鉴别损失;

生成器损失单元,用于将第二伪可见光图像输入到第二初始生成器确定重建红外图像,将第二伪红外图像输入至第一初始生成器确定重建可见光图像,并根据第二可见光图像、第二红外图像、第二伪可见光图像、第二伪红外图像、重建可见光图像以及重建红外图像确定第一初始生成器和第二初始生成器的总损失;

参数调整单元,用于基于第一鉴别损失对第一鉴别器进行调整,基于第二鉴别损失对第二鉴别器进行调整,以及基于总损失对第一初始生成器和第二初始生成器进行调整,并重复执行选取单元、鉴别器损失单元、生成器损失单元以及参数调整单元中的步骤,直至迭代预设轮次,和/或,直至第一鉴别损失、第二鉴别损失和总损失收敛,以获得训练好的第一目标生成器和第二目标生成器。

8.一种计算设备,包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6中任一项所述的红外图像与可见光图像融合方法的步骤。

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行如权利要求1至6中任一项所述的红外图像与可见光图像融合方法的步骤。