1.一种红外和可见光图像融合方法,其特征在于,所述红外和可见光图像融合方法包括:对原始红外图像进行基于卷积神经网络的超分辨率重构,获得重构后高分辨率的红外图像;
对可见光和高分辨率的红外图像各自进行各向异性扩散,得到相应的基础层和细节层;
利用KL变换获取最大特征向量对细节层进行融合,利用显著度自适应提取对基础层进行融合;
将融合后的细节层和基础层通过线性重构得到最终的融合图像;
所述红外和可见光图像融合方法的融合策略,高分辨率红外图像为IIR(x,y),尺寸为m2×n2,可见光图像记为IVIS(x,y),尺寸为m1×n1,AD(·)表示对图像进行各向异性扩散,IIR(x,y)和IVIS(x,y)经过各向异性扩散得到的基础层图像 和 分别表示为:细节层图像 和 由图像IIR(x,y)、IVIS(x,y)分别减去对应的基础层得到:
提取可见光图像尺寸m1×n1,赋值于高分辨率红外图像IIR(x,y)扩散后得到的基础层和细节层 使基础层 和细节层 的大小都为m1×n1;
细节层利用KL变换获取最大特征向量的方法进行融合,将细节层 和 置为列向量并记为X,求取X的协方差矩阵CXX,CXX的特征向量记为:求取特征值σ1和σ2,并找出其最大特征值σmax,记作:σmax=max(σ1,σ2);
σmax相对应的特征向量为ξmax,计算出融合权重系数D1、D2:最后得到的融合细节层 表示为:
在对基础层图像进行融合时,将 的显著度记为 表示为:式中:x和y表示像素点在图像中的位置,MeanIR(x,y)为 图像内所有像素点的平均值,图像 计算出的显著度记为和 的权重分别为WIR和WVIS,其计算式为:WVIS=1‑WIR;
基础层融合图像 的表达式:
2.如权利要求1所述的红外和可见光图像融合方法,其特征在于,所述红外和可见光图像融合方法的线性融合重构是对基础层 和细节层 利用加权方法重构出融合图像IF:
3.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1~2任意一项所述红外和可见光图像融合方法的步骤。
4.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1~2任意一项所述红外和可见光图像融合方法的步骤。
5.一种运行权利要求1~2任意一项所述红外和可见光图像融合方法的红外和可见光图像融合系统,其特征在于,所述红外和可见光图像融合系统包括:红外图像重构模块,用于对原始红外图像进行基于卷积神经网络的超分辨率重构,获得重构后高分辨率的红外图像;
红外图像预处理模块,用于对可见光和高分辨率的红外图像各自进行各向异性扩散,得到相应的基础层和细节层;
细节层和基础层融合模块,用于利用KL变换获取最大特征向量对细节层进行融合,利用显著度自适应提取对基础层进行融合;
线性重构模块,用于将融合后的细节层和基础层通过线性重构得到最终的融合图像。
6.一种图像融合系统,其特征在于,所述图像融合系统搭载权利要求5所述的红外和可见光图像融合系统。
7.一种计算机视觉控制系统,其特征在于,所述计算机视觉控制系统搭载权利要求5所述的红外和可见光图像融合系统。