利索能及
我要发布
收藏
专利号: 2023104343226
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于主次特征分离的红外和可见光图像融合方法,其特征在于,包括:

S1、对数据集所有图像进行预处理,得到主要特征图像集和背景特征图像集;

S2、构建两个长度不一的密集残差神经网络,并设计损失函数对模型进行预训练,保留模型参数并基于训练完成的神经网络设计整体网络架构;具体为:S201、根据网络功能要求构建残差块长度不一的密集残差神经网络:用于融合主要特征的DetailFoucs和用于融合次要特征的BackgroundFoucs;

S202、根据DetailFoucs和BackgroundFoucs分别设计不同的损失函数,DetailFoucs的损失函数Ldetails(Iir,Ivis)由结构相似指标SSIM构成,BackgroundFoucs的损失函数Lbackground(Iir,Ivis)由图像的均方误差MSE构成;

损失函数具体公式如下:

Ldetails(Iir,Ivis)=SSIM(IF,IVIS)+SSIM(IF,Iir)其中,μ表示均值,σ表示均方差,C1和C2表示稳定度量的超参数,H和W表示图像的高和宽,M表示输入图像,IF表示融合图像,Iir表示红外图像,Ivis表示可见光图像,S(i,j)和IF2

(i,j)中的i,j代表图像横向和纵向上的像素点,||表示二范数;

S203、将预处理后的训练集输入到密集残差神经网络中进行无监督训练,训练优化器使用Adamw,学习率为1e‑3,训练批次为200,batchsize为10,训练完成后得到优化后的神经网络;

S204、将红外和可见光的主要特征图像在通道上串联,送入密集残差神经网络DetailFoucs得到融合结果,融合结果是大小为(1,1,H,W)的灰度融合图像;

将红外和可见光的次要特征图像在通道上串联,送入密集残差神经网络

BackgroundFoucs得到融合结果,融合结果是大小为(1,1,H,W)的灰度融合图像;

将DetailFoucs和BackgroundFoucs的融合结果按在源图像上的位置进行排序,得到待拼接图像;

S205、在模型后端补充图像边缘融合模块,使用柏松融合进行拼接融合,对融合完成的分割图像进行拼接得到融合结果;

S3、对源图像Ivis和Iir做主次图像分割分类后送入训练好的神经网络中,得到融合图像。

2.根据权利要求1所述的基于主次特征分离的红外和可见光图像融合方法,其特征在于,步骤S1中,得到图像集的具体步骤如下:S101、使用SIFT算法对数据集所有红外和可见光图像做关键点的标注;

S102、对关键点进行遍历,使用矩形将图像分割成主要特征图像和背景特征图像;分割规则如下:定义一个大小为20x20块并初始化一个矩形列表,循环遍历每个关键点,计算其周围的小块的坐标,从图像中提取该小块,计算块内像素的平均强度,根据平均强度调整矩形的大小,并计算矩形的坐标,遍历结束后,矩形所包含的图像作为主要特征图像,其余部分作为次要特征图像。

3.根据权利要求1所述的基于主次特征分离的红外和可见光图像融合方法,其特征在于,步骤S2中,DetailFoucs由common layer1、common layer2、common layer3、common layer4、common layer5、Block1、Block2、Block3和Block4组成;common layer1输入通道为

4,输出通道为48;common layer2输入通道为240,输出通道为240;common layer3输入通道为240,输出通道为128;common layer4输入通道为128,输出通道为64;common layer5输入通道为64,输出通道为1;Block1由输入通道为48、输出通道为48的Conv1和输入通道为48、输出通道为48的Conv2组成;Block2由输入通道为96、输出通道为48的Conv1和输入通道为

48、输出通道为48的Conv2组成;Block3由输入通道为144、输出通道为48的Conv1和输入通道为48、输出通道为48的Conv2组成;Block4由输入通道为192、输出通道为48的Conv1和输入通道为48、输出通道为48的Conv2组成;

BackgroundFoucs由common layer1、common layer2、common layer3、common layer4和Block组成;common layer1输入通道为4,输出通道为48;common layer2输入通道为240,输出通道为128;common layer3输入通道为128,输出通道为64;common layer4输入通道为

64,输出通道为1;Block由输入通道为48、输出通道为48的Conv1和输入通道为48、输出通道为48的Conv2组成。

4.基于主次特征分离的红外和可见光图像融合系统,其特征在于,包括:

特征图像集提取模块,用于对数据集所有图像进行预处理,得到主要特征图像集和背景特征图像集;

整体网络架构设计模块,用于构建两个长度不一的密集残差神经网络,并设计损失函数对模型进行预训练,保留模型参数并基于训练完成的神经网络设计整体网络架构;具体为:步骤1、根据网络功能要求构建残差块长度不一的密集残差神经网络:用于融合主要特征的DetailFoucs和用于融合次要特征的BackgroundFoucs;

步骤2、根据DetailFoucs和BackgroundFoucs分别设计不同的损失函数,DetailFoucs的损失函数Ldetails(Iir,Ivis)由结构相似指标SSIM构成,BackgroundFoucs的损失函数Lbackground(Iir,Ivis)由图像的均方误差MSE构成;

损失函数具体公式如下:

Ldetails(Iir,Ivis)=SSIM(IF,IVIS)+SSIM(IF,Iir)其中,μ表示均值,σ表示均方差,C1和C2表示稳定度量的超参数,H和W表示图像的高和宽,M表示输入图像,IF表示融合图像,Iir表示红外图像,Ivis表示可见光图像,S(i,j)和IF2

(i,j)中的i,j代表图像横向和纵向上的像素点,||表示二范数;

步骤3、将预处理后的训练集输入到密集残差神经网络中进行无监督训练,训练优化器使用Adamw,学习率为1e‑3,训练批次为200,batchsize为10,训练完成后得到优化后的神经网络;

步骤4、将红外和可见光的主要特征图像在通道上串联,送入密集残差神经网络DetailFoucs得到融合结果,融合结果是大小为(1,1,H,W)的灰度融合图像;

将红外和可见光的次要特征图像在通道上串联,送入密集残差神经网络

BackgroundFoucs得到融合结果,融合结果是大小为(1,1,H,W)的灰度融合图像;

将DetailFoucs和BackgroundFoucs的融合结果按在源图像上的位置进行排序,得到待拼接图像;

步骤5、在模型后端补充图像边缘融合模块,使用柏松融合进行拼接融合,对融合完成的分割图像进行拼接得到融合结果;

融合图像训练模块,用于对源图像做主次图像分割分类后送入训练好的神经网络中,得到融合图像。

5.根据权利要求4所述的基于主次特征分离的红外和可见光图像融合系统,其特征在于,特征图像集提取模块中,获得特征图像集的具体步骤如下:步骤1、使用SIFT算法对数据集所有红外和可见光图像做关键点的标注;

步骤2、对关键点进行遍历,使用矩形将图像分割成主要特征图像和背景特征图像;分割规则如下:定义一个大小为20x20块并初始化一个矩形列表,循环遍历每个关键点,计算其周围的小块的坐标,从图像中提取该小块,计算块内像素的平均强度,根据平均强度调整矩形的大小,并计算矩形的坐标,遍历结束后,矩形所包含的图像作为主要特征图像,其余部分作为次要特征图像。

6.根据权利要求4所述的基于主次特征分离的红外和可见光图像融合系统,其特征在于,整体网络架构设计模块中,DetailFoucs由common layer1、common layer2、common layer3、common layer4、common layer5、Block1、Block2、Block3和Block4组成;common layer1输入通道为4,输出通道为48;common layer2输入通道为240,输出通道为240;

common layer3输入通道为240,输出通道为128;common layer4输入通道为128,输出通道为64;common layer5输入通道为64,输出通道为1;Block1由输入通道为48、输出通道为48的Conv1和输入通道为48、输出通道为48的Conv2组成;Block2由输入通道为96、输出通道为

48的Conv1和输入通道为48、输出通道为48的Conv2组成;Block3由输入通道为144、输出通道为48的Conv1和输入通道为48、输出通道为48的Conv2组成;Block4由输入通道为192、输出通道为48的Conv1和输入通道为48、输出通道为48的Conv2组成;

BackgroundFoucs由common layer1、common layer2、common layer3、common layer4和Block组成;common layer1输入通道为4,输出通道为48;common layer2输入通道为240,输出通道为128;common layer3输入通道为128,输出通道为64;common layer4输入通道为

64,输出通道为1;Block由输入通道为48、输出通道为48的Conv1和输入通道为48、输出通道为48的Conv2组成。