利索能及
我要发布
收藏
专利号: 2023111080297
申请人: 佛山科学技术学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于多聚焦信息整合的红外与可见光图像融合方法,其特征在于,包括以下步骤:

获取红外图像、第一可见光源图像和第二可见光源图像,所述第一可见光源图像和第二可见光源图像具有不同聚焦区域;

基于半稀疏性的图像滤波器对红外图像、第一可见光源图像和第二可见光源图像进行分解处理,得到分解后的红外图像、分解后的第一可见光源图像和分解后的第二可见光源图像;

通过特征提取算子对红外图像的纹理层、第一可见光源图像的纹理层和第二可见光源图像的纹理层进行特征检测处理,得到红外图像纹理层的显著特征图、第一可见光源图像纹理层的显著特征图和第二可见光源图像纹理层的显著特征图;

对红外图像纹理层的显著特征图、第一可见光源图像纹理层的显著特征图和第二可见光源图像纹理层的显著特征图进行绝对值取大处理,得到红外图像纹理层的聚焦决策图、第一可见光源图像纹理层的聚焦决策图和第二可见光源图像纹理层的聚焦决策图;

对红外图像纹理层的聚焦决策图、第一可见光源图像纹理层的聚焦决策图和第二可见光源图像纹理层的聚焦决策图进行整合处理,得到聚焦纹理图;

对聚焦纹理图进行显著特征提取处理,得到聚焦纹理图的显著特征图;

基于纹理层融合规则,对聚焦纹理图的显著特征图进行融合处理,得到融合纹理层;

考虑能量信息的分布,对红外图像的结构层、第一可见光源图像的结构层和第二可见光源图像的结构层进行融合处理,得到融合结构层;

将融合纹理层与融合结构层进行相加处理,得到最终的图像融合结果。

2.根据权利要求1所述基于多聚焦信息整合的红外与可见光图像融合方法,其特征在于,所述基于半稀疏性的图像滤波器对红外图像、第一可见光源图像和第二可见光源图像进行分解处理,得到分解后的红外图像、分解后的第一可见光源图像和分解后的第二可见光源图像这一步骤,其具体包括:基于半稀疏性的图像滤波器对红外图像、第一可见光源图像和第二可见光源图像进行平滑操作处理,得到红外图像的结构层、第一可见光源图像的结构层和第二可见光源图像的结构层;

将红外图像与红外图像的结构层进行相减处理、第一可见光源图像与第一可见光源图像的结构层进行相减处理、第二可见光源图像与第二可见光源图像的结构层进行相减处理,得到红外图像的纹理层、第一可见光源图像的纹理层和第二可见光源图像的纹理层;

分别整合红外图像的结构层与红外图像的纹理层、第一可见光源图像的结构层与第一可见光源图像的纹理层、第二可见光源图像的结构层与第二可见光源图像的纹理层,得到分解后的红外图像、分解后的第一可见光源图像和分解后的第二可见光源图像。

3.根据权利要求2所述基于多聚焦信息整合的红外与可见光图像融合方法,其特征在于,所述半稀疏性的图像滤波器的表达式具体如下所示:上式中,f表示输入的图像,u表示输出的图像,α和λ表示平衡的权重,Z表示控制输出图像u的平滑度的参数, 代表第n个微分算子, 表示图像u第k个高阶梯度, 表示第k个微分算子,其中k=1,2,3,4,5。

4.根据权利要求3所述基于多聚焦信息整合的红外与可见光图像融合方法,其特征在于,所述特征提取算子对红外图像的纹理层、第一可见光源图像的纹理层和第二可见光源图像的纹理层进行特征检测处理的表达式具体如下所示:上式中,TMm表示纹理层的显著特征图,SMm表示图像纹理层的显著像素信息, 表示图像纹理层x方向的梯度信息, 表示图像纹理层y方向的梯度信息。

5.根据权利要求4所述基于多聚焦信息整合的红外与可见光图像融合方法,其特征在于,所述纹理层融合规则的表达式具体如下所示:上式中,FT表示融合纹理层,TM4表示聚焦纹理层T4的显著特征图,TMm表示聚焦纹理图TMm的显著特征图,Tm表示图像的纹理层,TM3表示纹理层T3的显著特征图。

6.根据权利要求5所述基于多聚焦信息整合的红外与可见光图像融合方法,其特征在于,所述通过特征提取算子对红外图像的纹理层、第一可见光源图像的纹理层和第二可见光源图像的纹理层进行特征检测处理,得到红外图像纹理层的显著特征图、第一可见光源图像纹理层的显著特征图和第二可见光源图像纹理层的显著特征图这一步骤,其具体包括:对红外图像的纹理层、第一可见光源图像的纹理层和第二可见光源图像的纹理层进行全局梯度信息检测,获取红外图像纹理层的梯度信息、第一可见光源图像纹理层的梯度信息和第二可见光源图像纹理层的梯度信息;

基于高斯金字塔,对红外图像的纹理层、第一可见光源图像的纹理层和第二可见光源图像的纹理层进行分解处理,得到具有多个尺度的红外图像纹理层、具有多个尺度的第一可见光源图像纹理层和具有多个尺度的第二可见光源图像纹理层;

通过拉普拉斯金字塔对具有多个尺度的红外图像纹理层、具有多个尺度的第一可见光源图像纹理层和具有多个尺度的第二可见光源图像纹理层进行图像的显著像素信息检测处理,得到红外图像纹理层的特征信息、第一可见光源图像纹理层的特征信息和第二可见光源图像纹理层的特征信息;

分别整合红外图像纹理层的梯度信息与红外图像纹理层的特征信息、第一可见光源图像纹理层的梯度信息与第一可见光源图像纹理层的特征信息、第二可见光源图像纹理层的梯度信息与第二可见光源图像纹理层的特征信息,得到红外图像纹理层的显著特征图、第一可见光源图像纹理层的显著特征图和第二可见光源图像纹理层的显著特征图。

7.根据权利要求6所述基于多聚焦信息整合的红外与可见光图像融合方法,其特征在于,所述考虑能量信息的分布,对红外图像的结构层、第一可见光源图像的结构层和第二可见光源图像的结构层进行融合处理,得到融合结构层这一步骤,其具体包括:分别计算红外图像结构层的离散余弦变换块的频率方差、第一可见光源图像结构层的离散余弦变换块的频率方差和第二可见光源图像结构层的离散余弦变换块的频率方差;

对红外图像结构层的离散余弦变换块的频率方差、第一可见光源图像结构层的离散余弦变换块的频率方差和第二可见光源图像结构层的离散余弦变换块的频率方差进行取平均计算处理,得到融合结构层的第一特征值;

分别计算红外图像结构层的熵、第一可见光源图像结构层的熵和第二可见光源图像结构层的熵,得到融合结构层的第二特征值;

基于结构层融合规则,对融合结构层的第一特征值和融合结构层的第二特征值进行融合处理,得到融合结构层。

8.根据权利要求7所述基于多聚焦信息整合的红外与可见光图像融合方法,其特征在于,所述结构层融合规则的表达式具体如下所示:上式中,FS表示融合结构层,Em表示图像结构层的熵,ψm表示图像结构层的离散余弦变换块的频率方差,Sm表示图像的结构层。

9.基于多聚焦信息整合的红外与可见光图像融合系统,其特征在于,包括以下模块:

获取模块,用于获取红外图像、第一可见光源图像和第二可见光源图像,所述第一可见光源图像和第二可见光源图像具有不同聚焦区域;

分解模块,基于半稀疏性的图像滤波器对红外图像、第一可见光源图像和第二可见光源图像进行分解处理,得到分解后的红外图像、分解后的第一可见光源图像和分解后的第二可见光源图像;

融合模块,用于通过特征提取算子对红外图像的纹理层、第一可见光源图像的纹理层和第二可见光源图像的纹理层进行特征检测处理,得到红外图像纹理层的显著特征图、第一可见光源图像纹理层的显著特征图和第二可见光源图像纹理层的显著特征图;对红外图像纹理层的显著特征图、第一可见光源图像纹理层的显著特征图和第二可见光源图像纹理层的显著特征图进行绝对值取大处理,得到红外图像纹理层的聚焦决策图、第一可见光源图像纹理层的聚焦决策图和第二可见光源图像纹理层的聚焦决策图;对红外图像纹理层的聚焦决策图、第一可见光源图像纹理层的聚焦决策图和第二可见光源图像纹理层的聚焦决策图进行整合处理,得到聚焦纹理图;对聚焦纹理图进行显著特征提取处理,得到聚焦纹理图的显著特征图;基于纹理层融合规则,对聚焦纹理图的显著特征图进行融合处理,得到融合纹理层;考虑能量信息的分布,对红外图像的结构层、第一可见光源图像的结构层和第二可见光源图像的结构层进行融合处理,得到融合结构层;

相加模块,用于将融合纹理层与融合结构层进行相加处理,得到最终的图像融合结果。