利索能及
我要发布
收藏
专利号: 2017108981396
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于区域能量和方差的稀疏融合算法,其特征在于,包括如下步骤:步骤1:读入红外图像r(x,y)和可见光图像v(x,y),根据滑块大小s和滑动步长l对其进行边界扩充得到红外图像Ar1(x,y)和可见光图像Av1(x,y),根据红外图像A的大小构造一个行列相同的融合图像矩阵Y,并初始化各元素为零;

步骤2:对红外图像和可见光图像构造的训练集A进行字典训练得到过完备字典D;

步骤3:根据s和l对红外图像Ar1(x,y)和可见光图像Av1(x,y)分别依次进行滑窗处理,每次得到的图像块s1,s2按行展开成列向量c1,c2;

步骤4:在过完备字典D下对列向量c1,c2进行稀疏分解并得到各自的稀疏系数;

步骤5:根据稀疏系数对应的图像块的区域能量和方差自适应选取融合规则进行图像融合,得到的融合系数在过完备字典D下进行稀疏重构得到列向量c3,再将其转换为图像块,叠加到融合图像矩阵Y对应的位置中;

步骤6:迭代步骤3、步骤4和步骤5,直到红外图像和可见光图像的滑窗移动到最后一行和最后一列;再将得到的融合图像矩阵Y依据各自对应位置的叠加次数进行平均处理,经过裁剪得到最终的融合图像F。

2.根据权利要求1所述的一种基于区域能量和方差的稀疏融合算法,其特征在于,所述步骤1的具体步骤如下:步骤11:读取红外图像r(x,y)和可见光图像v(x,y),并将此作为原图像,假设图像大小为m×n;

步骤12:根据滑块大小s和滑动步长l,将原图像分别扩展成大小为(ceil((m-s)/l)*l+s)*(ceil((n-s)/l)*l+s)的红外图像r1(x,y)和可见光图像v1(x,y),其中ceil(x)函数实现的是不小于x的最小整数,只扩展图像的右边界和下边界,确定右边界和下边界分别需要扩充的个数t1,t2,其中t1=(ceil((n-s)/l)*l+s)-n,t2=(ceil((m-s)/l)*l+s)-m;此步骤具体实现步骤如下:步骤121:扩展图像的右边界,以图像r(x,y)和v(x,y)右边界为中轴,对称复制原图最外围中的t1列像素,得到红外图像r0(x,y)和可见光图像v0(x,y);

步骤122:扩展图像的下边界,以r0(x,y)和v0(x,y)为原图,以下边界为中轴,对称复制原图像最外围中的t2行像素,得到最终的扩展图像r1(x,y)和v1(x,y);

步骤13:构造一个融合图像矩阵Y,其矩阵大小为(ceil((m-s)/l)*l+s)*(ceil((n-s)/l)*l+s)。

3.根据权利要求1所述的一种基于区域能量和方差的稀疏融合算法,其特征在于,所述步骤2的具体步骤如下:步骤21:将图像经滑窗处理后得到的图像块展开成列向量,为了尽可能多获得训练集,滑动步长取1,则图像r1(x,y)和r2(x,y)经处理得到训练集y1,y2,组合成训练集y;此步骤具体实现步骤如下:步骤211:将红外图像和可见光图像分别从上到下,从左到右,按移动步长1依次提取图像块,并将其展开成列向量,依次添加到空白矩阵y1,y2中;

步骤212:将红外图像和可见光图像各自的训练集y1,y2,组合成训练集y,其中,y=[y1,y2];

步骤22:将超完备DCT作为初始字典;首先固定字典D,利用正交匹配追踪算法求解y在D下的系数矩阵 正交匹配追踪算法具体实现步骤如下:以下流程中:rt表示残差,t表示迭代次数, 表示空集,Λt表示t次迭代的索引(列序号)集合,λt表示第t次迭代找到的列序号,dj表示字典D的第j列,At表示按索引选出的矩阵D的列集合,xt为t×1的列向量,符号∪表示集合并运算,<·,·>表示求向量内积。

步骤221:输入为训练集y,过完备字典D,稀疏度为K,初始化r0=y, t=

1;

步骤222:找出残差r与字典D的列内积取得最大值所对应的脚标λt,即步骤223:令Λt=Λt-1∪{λt},

步骤224:由最小二乘法得到

步骤225:更新残差 t=t+1;

步骤226:判断是否满足t>K,若满足,则停止迭代;若不满足,则继续执行步骤1;

步骤227:重构所得 在Λt处有非零项,其值分别为最后一次迭代所得步骤23:固定系数矩阵 更新字典的第k列dk,使得目标函数最小,其中dk相对应系数矩阵 中向量 则目标函数改为:式中, 被分解为N个向量与其系数相乘的和,更新第k列dk,则固定其余的N-1项不变,将第k列置零后与系数重构回初始信号,Ek为训练集y与重构会的信号之差,利用矩阵SVD分解法来更新dk,从而得到新的字典D;

步骤24:最后重复迭代,直到目标函数达到设定的全局误差,则迭代终止,获得的更新字典D即为学习字典。

4.根据权利要求1所述的一种基于区域能量和方差的稀疏融合算法,其特征在于,所述步骤4的具体步骤如下:步骤41:初始化残差 其中X1,X2分别为对应位置滑块展开的列向量c1,c2,l表示迭代次数, 表示经由l次迭代后所得的各项残差,字典D大小为M*N,初始化稀疏系数为零矩阵,大小为N*1;

步骤42:计算字典内每个原子dk,k=1,2,…,N,与2种残差项的内积绝对值之和,如下式所示:从中选出取得最大值时对应的原子,并将其做正交化处理,选出原子在字典矩阵中的列数j即为稀疏系数矩阵对应稀疏系数的行数,大小为残差与选中原子的内积;

步骤43:更新稀疏系数矩阵中的第j行和残差,进行下一次迭代;

步骤44:最后直到各残差的二范数小于设定值ε, 则迭代结束,得到红外和可见光图像块列向量各自对应的稀疏系数向量。

5.根据权利要求1所述的一种基于区域能量和方差的稀疏融合算法,其特征在于,所述步骤5的具体步骤如下:步骤51:求得红外图像和可见光图像稀疏系数对应图像块的区域能量Er,Ev,其中区域能量的定义公式为其中,m×n表示图像块区域的大小,x(i,j)表示图像块区域(i,j)位置处的像素值,E表示区域能量;

步骤52:求得红外图像和可见光图像稀疏系数对应图像块的区域方差Sr,Sv,其中区域方差的定义如下:其中,X表示大小为m×n的区域,X(i,j)表示区域位置(i,j)处的灰度值, 表示X区域的灰度平均值;

步骤53:如果可见光图像的区域能量和方差都大于红外图像,则融合系数取可见光图像块对应的稀疏系数;如果红外图像的区域能量和方差都大于可见光图像,则融合系数取红外图像块所对应的稀疏系数;如果二者的区域能量和方差各有优势,则融合系数由基于方差的权重加权而成;加权融合的处理公式如下:其中a,b表示红外与可见光图像对应区域的方差,xIR、xVI、xF表示红外、可见光和融合图像的稀疏系数;稀疏系数融合规则如下式所示:其中EIR,EVI分别为红外、可见光图像区域能量,SIR,SVI为红外、可见光图像的区域方差;

步骤54:将融合系数x在过完备字典D下进行稀疏重构,得到融合列向量c3=Dx;

步骤55:将列向量逆处理变换成图像块,将其数据叠加到融合矩阵Y对应位置,获得融合图像。

6.根据权利要求1所述的一种基于区域能量和方差的稀疏融合算法,其特征在于,所述步骤6的具体步骤如下:步骤61:不断迭代步骤3、4和5,直到整个原图像Ar1(x,y)和Av1(x,y)均做融合处理;

步骤62:根据移动步长对步骤51获得的融合图像矩阵进行平均处理,使得融合图中多次重叠的部分根据重叠次数进行平均;

步骤63:依照红外图像和可见光图像的大小对步骤52得到的融合图像进行裁剪,得到最终的融合图像。

7.根据权利要求1所述的一种基于区域能量和方差的稀疏融合算法,其特征在于,还包括步骤7:根据红外图像、可见光图像和融合图像,求得熵、互信息、边缘保持度、标准差等客观评价指标进行融合性能评价;

所述步骤7的具体步骤如下:

步骤71:输入红外图像R、可见光图像V和融合图像F;

步骤72:对融合算法进行信息熵的客观评价,熵越大,融合性能越好。其中信息熵的数学定义为:其中,L为图像的灰度级数,pi为灰度值为i的概率值,计算公式如下所示:式中,N表示像素总数m×n,Ni表示像素值为i的个数;

步骤72:对融合性能进行边缘保持度(EIP)的客观评价,依靠融合图像和红外与可见光图像之间像素对像素的对比结果求得EIP值;从红外图像R到融合图像F边缘强度和方向的变化可以通过下式来计算:其中GFR(i,j),αFR(i,j)表示的是边缘强度、边缘方向的变化,gF(i,j),gR(i,j)表示的是融合图像F、红外图像R每个像素的边强度,αF(i,j),αR(i,j)表示图像F、R每个像素的边方向;

以融合图像F为例,可以用Sobel算子提取图像的边参数,经Sobel算子滤波F后,分别得到两个图像 表示融合图像F水平方向和垂直方向的边信息,然后就可以评估像素(i,j)处的边强度和边方向,如下式所示:利用sigmoid函数来建模边强度和边方向的丢失,从而得到视觉强度和方向的保留估计,如下式所示:其中所有可调节参数取定值,Γg=0.9994,Kg=-15,σg=0.5,Γa=0.9879,Ka=-22,σa=0.8为常数,它们均是提出者经过多次试验所得到的最佳取值,最终的融合图像F相对于红外和可见光图像的边缘保持度计算公式如下式所示:该参数表征的是融合图像F对红外图像R任一像素(i,j)的再现能力,当取值为1时,表明信息完全没有丢失,取值为0时则表明全部丢失;根据边保留映射QFR,基于红外和可见光图像进行像素级融合而生成融合图像F的融合过程,得到一个参数QVR/F,计算公式如下式所示:V R

其中对应的权值为由视觉重要系数w (i,j),w (i,j)决定,其取值大小为[0,1],值越大,融合效果越好;步骤64:对融合性能进行平均梯度客观评价,平均梯度的数学定义如下式所示:式中,△xf(i,j),△yf(i,j)分别为图像位置(i,j)处的灰度值f(i,j)在水平方向和垂直方向的一阶差分;平均梯度越大,融合性能越好;

步骤73:对融合性能进行互信息客观评价,互信息的数学定义

其中, 和 分别为融合图像和可见光图像、红外图像的互信息,计算公式如式所示。

其中,p(f,v)和p(f,r)分别是融合图像F和可见光图像V、红外图像R的联合概率分布函数,p(f)、p(v)和p(r)分别是融合图像F、可见光图像V和红外图像R的边缘概率分布函数;

步骤74:对基于主成分分析的图像融合、基于离散小波变换的图像融合、基于非下采样轮廓波变换的图像融合、基于绝对值取大的稀疏融合、基于区域方差加权的稀疏融合多种算法分别进行熵、边缘保持度、等指标的客观评价,从而实现对本发明融合性能好坏进行一个客观总结。