利索能及
我要发布
收藏
专利号: 2023106968212
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于特征块分割分离的红外和可见光图像融合方法,包括:S1、根据红外和可见光成像特点设计两种图像增强方式,并使用SIFT算法快速分离,得到主要特征块和次要特征块;具体为:S101、对红外图像进行图像增强的具体内容为:使用边缘检测算法对红外图像进行图像增强;使用高斯滤波器对红外图像中的潜在噪声进行过滤,具体步骤为:其中,G(x,y)表示高斯函数,σ表示高斯滤波器的标准差;

使用Sobel算子计算红外图像中每个像素的梯度幅值和方向,具体公式为:其中,Gx和Gy分别表示水平和垂直方向上的梯度值,I表示输入图像;

通过抑制非极大值,在红外图像中寻找局部梯度最大值的位置,并将其视为潜在边缘,具体抑制公式为:其中,Δx和Δy表示梯度方向;

将梯度幅值分为两个阈值,确定需要的边缘,具体公式为:If G(x y)≥Th the point is a strong edge pointIf Tl≤G(x y)

对可见光图像进行图像增强的具体内容为:

利用二维傅里叶变换,将可见光图像转换到频域;将频域中零频率分量移到频谱的中心,并计算幅值谱,具体公式为:fmp=20·log10(|f|)

其中,f表示转换到频域的图像,fmp表示幅值谱;

对幅值谱进行高通滤波,保留高频信息,具体公式为:fhp=fmp·H(u,v)

其中,H(u,v)表示高通滤波器的传递函数,fhp表示保留高频信息的图像;

对滤波后的图像进行反傅里叶变换,再进行阈值处理得到最终的可见光图像预处理,阈值处理的具体公式为:其中,FFT()表示快速傅里叶变换函数,Ivis表示输出可见光图像;

S102、利用SIFT算法分别对经过预处理后的红外和可见光图像进行特征点的标注;

S103、根据标注后图像上的特征点的分布将图像分割为主要特征块和次要特征块;具体为:将特征点密集分布的区域视为主要特征区域,对该区域内的特征点进行分簇操作;使用大小可调整的移动窗口遍历图像,当窗口内特征点大于或等于阈值时,对该特征点进行分割作为主要特征块Qi,阈值的计算公式为:其中,η为阈值,h和w为图像的高和宽;

重复遍历多次,直到窗口内无法包含更多的特征点;此时,分割后的原始图像剩下的区域为次要特征块;

S2、在融合网络中并行融合主要特征块和次要特征块中的空间信息和纹理细节信息,得到主要特征图像融合块和次要特征图像融合块,并采用多任务的方式对两种图像融合块进行训练;

S3、利用柏松融合对训练后的主要特征图像融合块和次要特征图像融合块进行拼接并消除拼接细缝,获得显著特征突出的红外和可见光融合图像。

2.根据权利要求1所述的基于特征块分割分离的红外和可见光图像融合方法,其特征在于,步骤S2中,训练主要特征图像融合块和次要特征图像融合块的具体步骤为:S201、使用多层卷积层对主要特征块和次要特征块进行特征提取,在多层卷积中并联多个梯度算子模块,并使用1×1正则卷积层消除通道维度差异;在卷积层尾部加入梯度计算模块输出和卷积层输出,每层卷积层的输出表示为:其中,RELU为激活函数,BN为批归一化函数,Conv为卷积函数,Sobel为算子,P为卷积层输出,i为卷积层输出;

S202、经过特征提取后,红外和可见光图像各自得到五层输出特征图,并将特征图在通道维度上进行串联,此时维度大小从1维增加到2维;串联后的结果送入特征融合层的五层输入,特征融合层的输出表示为:Si=concat(Pi_ir,Pi_vis,dim=1)其中,Si表示红外图像和可见光图像的组合通道,Pi_ir表示红外图像的特征图,Pi_vis表0

示可见光图像的特征图,Li表示第i层特征融合层输出;

S203、交叉连接相临特征融合层的输出,对连接的结果经过卷积、批归一化和激活层传输到多尺度交叉融合层,此时输出主要特征图像融合块和次要特征图像融合块,其输出表示为:1

其中,Li表示第i层多尺度交叉融合输出;

S204、计算红外和可见光图像特征图与红外和可见光图像的相似性函数,得到特征图在未来融合结果中的贡献度,具体计算公式为:pSSIM(P,Iir,Ivis)=SSIM(P,Iir)+SSIM(P,Ivis)其中,P为特征提取层输出,Iir为红外图像,Ivis为可见光图像,SSIM为相似性函数,Ci为分配的每层输出通道大小,CN为总共的通道数;

S205、使用Fisher信息矩阵作为参数重要性评价项,计算对数似然函数关于该参数的曲率的平均值,具体公式为:*

其中, 为多任务平衡函数,D为训练任务,θ为当前任务的网络参数,θ 为前一任务的网络参数,μi为参数重要性评价项;

S206、根据主要特征图像融合块的特点设计对图像梯度变换敏感的损失函数 并对主要特征图像融合块进行训练;根据次要特征图像融合块的特点设计使用均方误差作的损失函数 并对次要特征图像融合块进行训练,具体公式为:其中,为梯度变换度量函数,h为图像的高,w为图像的宽,If为融合图像。

3.根据权利要求1所述的基于特征块分割分离的红外和可见光图像融合方法,其特征在于,步骤S3中,获得显著特征突出的红外和可见光融合图像的具体内容为:将可见光图像作为输出图像,依次无缝拼接所有特征图像融合块,给定输出图像和特征图像融合块,并假设将指定区域融合到输出图像的位置P上,在保证特征块图像的像素值和输出图像的像素梯度匹配的同时,遍历一组输出图像的像素梯度,使得两幅图像在拼接位置附近的像素梯度差最小,最终得到红外和可见光融合图像,具体公式为:其中,x和y是图像的像素位置,Itgt是输出图像,Isrc是特征图像融合块,Rsrc是指定区域。

4.基于特征块分割分离的红外和可见光图像融合系统,其特征在于,包括源图像分割模块,用于根据红外和可见光成像特点设计两种图像增强方式,并使用SIFT算法快速分离,得到主要特征块和次要特征块;具体为:步骤1、对红外图像进行图像增强的具体内容为:

使用边缘检测算法对红外图像进行图像增强;使用高斯滤波器对红外图像中的潜在噪声进行过滤,具体步骤为:其中,G(x,y)表示高斯函数,σ表示高斯滤波器的标准差;

使用Sobel算子计算红外图像中每个像素的梯度幅值和方向,具体公式为:其中,Gx和Gy分别表示水平和垂直方向上的梯度值,I表示输入图像;

通过抑制非极大值,在红外图像中寻找局部梯度最大值的位置,并将其视为潜在边缘,具体抑制公式为:其中,Δx和Δy表示梯度方向;

将梯度幅值分为两个阈值,确定需要的边缘,具体公式为:If G(x y)≥Th the point is a strong edge pointIf Tl≤G(x y)

对可见光图像进行图像增强的具体内容为:

利用二维傅里叶变换,将可见光图像转换到频域;将频域中零频率分量移到频谱的中心,并计算幅值谱,具体公式为:fmp=20·log10(|f|)

其中,f表示转换到频域的图像,fmp表示幅值谱;

对幅值谱进行高通滤波,保留高频信息,具体公式为:fhp=fmp·H(u,v)

其中,H(u,v)表示高通滤波器的传递函数,fhp表示保留高频信息的图像;

对滤波后的图像进行反傅里叶变换,再进行阈值处理得到最终的可见光图像预处理,阈值处理的具体公式为:其中,FFT()表示快速傅里叶变换函数,Ivis表示输出可见光图像;

步骤2、利用SIFT算法分别对经过预处理后的红外和可见光图像进行特征点的标注;

步骤3、根据标注后图像上的特征点的分布将图像分割为主要特征块和次要特征块;具体为:将特征点密集分布的区域视为主要特征区域,对该区域内的特征点进行分簇操作;使用大小可调整的移动窗口遍历图像,当窗口内特征点大于或等于阈值时,对该特征点进行分割作为主要特征块Qi,阈值的计算公式为:其中,η为阈值,h和w为图像的高和宽;

重复遍历多次,直到窗口内无法包含更多的特征点;此时,分割后的原始图像剩下的区域为次要特征块;

图像融合模块,用于在融合网络中并行融合主要特征块和次要特征块中的空间信息和纹理细节信息,得到主要特征图像融合块和次要特征图像融合块,并采用多任务的方式对两种图像融合块进行训练;

图像拼接模块,用于利用柏松融合对训练后的主要特征图像融合块和次要特征图像融合块进行拼接并消除拼接细缝,获得显著特征突出的红外和可见光融合图像。

5.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述方法的步骤。

6.一种计算机可读的存储介质,所述计算机可读的存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行所述权利要求1至3中任一项所述的方法。