利索能及
我要发布
收藏
专利号: 2021109721000
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种红外视频图像与可见光视频图像融合方法,其特征在于,所述方法包括:获取红外视频图像和可见光视频图像;

对所述红外视频图像进行图像增强,得到边缘锐化后的红外视频图像;

对所述边缘锐化后的红外视频图像和所述可见光视频图像进行图像配准,得到配准后的红外视频图像和配准后的可见光视频图像;

分别对所述配准后的红外视频图像和所述配准后的可见光视频图像进行各向异性滤波处理,得到红外视频图像特征部分、红外视频图像非特征部分、可见光视频图像特征部分和可见光视频图像非特征部分;

对所述红外视频图像特征部分、所述可见光视频图像特征部分、所述红外视频图像非特征部分和所述可见光视频图像非特征部分进行主成分分析,得到特征部分融合图和非特征部分融合图;

对所述特征部分融合图和所述非特征部分融合图进行融合,得到融合后的图像。

2.根据权利要求1所述的红外视频图像与可见光视频图像融合方法,其特征在于,所述对所述红外视频图像进行图像增强,得到边缘锐化后的红外视频图像,具体包括:对所述红外视频图像进行拉普拉斯变换,提取出所述红外视频图像的边缘轮廓图像;

对所述边缘轮廓图像进行Sobel梯度计算,得到边缘轮廓增强图像,并利用所述边缘轮廓增强图像对所述红外视频图像中的边缘点进行定位后,对所述边缘点进行形态学腐蚀处理,得到非边缘图像;

对所述边缘轮廓增强图像进行双边滤波处理,得到边缘图像;

对所述边缘图像和所述边缘轮廓图像进行边缘误差修正,得到修正后的边缘图像;

对所述修正后的边缘图像和所述非边缘图像进行融合,得到边缘锐化后的红外视频图像。

3.根据权利要求2所述的红外视频图像与可见光视频图像融合方法,其特征在于,所述对所述修正后的边缘图像和所述非边缘图像进行融合,得到边缘锐化后的红外视频图像,之后还包括:对所述边缘锐化后的红外视频图像进行伽马变换,得到对比度增强的红外视频图像。

4.根据权利要求1所述的红外视频图像与可见光视频图像融合方法,其特征在于,所述对所述边缘锐化后的红外视频图像和所述可见光视频图像进行图像配准,得到配准后的红外视频图像和配准后的可见光视频图像,具体包括:获取不同距离下的图像配准参数;所述图像配准参数包括当前距离对应的图像尺寸变换系数以及当前距离对应的原点相对位置关系;

对所述不同距离下的图像配准参数进行拟合,确定配准距离;

根据所述配准距离对应的图像尺寸变换系数以及所述配准距离对应的原点相对位置关系,对所述边缘锐化后的红外视频图像进行调整,得到调整后的红外视频图像;

对所述调整后的红外视频图像和所述可见光视频图像进行图像配准,得到配准后的红外视频图像和配准后的可见光视频图像。

5.根据权利要求1所述的红外视频图像与可见光视频图像融合方法,其特征在于,所述对所述红外视频图像特征部分、所述可见光视频图像特征部分、所述红外视频图像非特征部分和所述可见光视频图像非特征部分进行主成分分析,得到特征部分融合图和非特征部分融合图,具体包括:对所述红外视频图像特征部分和所述可见光视频图像特征部分进行主成分分析,得到红外视频图像特征部分的特征值和可见光视频图像特征部分的特征值;

根据所述红外视频图像特征部分的特征值和所述可见光视频图像特征部分的特征值,确定红外视频图像特征部分的权重和可见光视频图像特征部分的权重;

根据所述红外视频图像特征部分的权重和所述可见光视频图像特征部分的权重,对所述红外视频图像特征部分和所述可见光视频图像特征部分进行融合,得到特征部分融合图;

获取红外视频图像非特征部分的权重和可见光视频图像非特征部分的权重;

根据所述红外视频图像非特征部分的权重和所述可见光视频图像非特征部分的权重,对所述红外视频图像非特征部分和所述可见光视频图像非特征部分进行融合,得到非特征部分融合图。

6.一种红外视频图像与可见光视频图像融合系统,其特征在于,所述系统包括:视频图像获取模块,用于获取红外视频图像和可见光视频图像;

红外图像增强模块,用于对所述红外视频图像进行图像增强,得到边缘锐化后的红外视频图像;

图像配准模块,用于对所述边缘锐化后的红外视频图像和所述可见光视频图像进行图像配准,得到配准后的红外视频图像和配准后的可见光视频图像;

各向异性滤波处理模块,用于分别对所述配准后的红外视频图像和所述配准后的可见光视频图像进行各向异性滤波处理,得到红外视频图像特征部分、红外视频图像非特征部分、可见光视频图像特征部分和可见光视频图像非特征部分;

主成分分析模块,用于对所述红外视频图像特征部分、所述可见光视频图像特征部分、所述红外视频图像非特征部分和所述可见光视频图像非特征部分进行主成分分析,得到特征部分融合图和非特征部分融合图;

融合模块,用于对所述特征部分融合图和所述非特征部分融合图进行融合,得到融合后的图像。

7.根据权利要求6所述的红外视频图像与可见光视频图像融合系统,其特征在于,所述红外图像增强模块具体包括:拉普拉斯变换单元,用于对所述红外视频图像进行拉普拉斯变换,提取出所述红外视频图像的边缘轮廓图像;

Sobel梯度计算单元,用于对所述边缘轮廓图像进行Sobel梯度计算,得到边缘轮廓增强图像,并利用所述边缘轮廓增强图像对所述红外视频图像中的边缘点进行定位后,对所述边缘点进行形态学腐蚀处理,得到非边缘图像;

双边滤波处理单元,用于对所述边缘轮廓增强图像进行双边滤波处理,得到边缘图像;

边缘误差修正单元,用于对所述边缘图像和所述边缘轮廓图像进行边缘误差修正,得到修正后的边缘图像;

融合单元,用于对所述修正后的边缘图像和所述非边缘图像进行融合,得到边缘锐化后的红外视频图像。

8.根据权利要求6所述的红外视频图像与可见光视频图像融合系统,其特征在于,所述图像配准模块具体包括:配准参数获取单元,用于获取不同距离下的图像配准参数;所述图像配准参数包括当前距离对应的图像尺寸变换系数以及当前距离对应的原点相对位置关系;

配准参数拟合单元,用于对所述不同距离下的图像配准参数进行拟合,确定配准距离;

红外图像调整单元,用于根据所述配准距离对应的图像尺寸变换系数以及所述配准距离对应的原点相对位置关系,对所述边缘锐化后的红外视频图像进行调整,得到调整后的红外视频图像;

图像配准单元,用于对所述调整后的红外视频图像和所述可见光视频图像进行图像配准,得到配准后的红外视频图像和配准后的可见光视频图像。

9.根据权利要求6所述的红外视频图像与可见光视频图像融合系统,其特征在于,所述主成分分析模块具体包括:主成分分析单元,用于对所述红外视频图像特征部分和所述可见光视频图像特征部分进行主成分分析,得到红外视频图像特征部分的特征值和可见光视频图像特征部分的特征值;

特征部分权重确定单元,用于根据所述红外视频图像特征部分的特征值和所述可见光视频图像特征部分的特征值,确定红外视频图像特征部分的权重和可见光视频图像特征部分的权重;

特征部分融合单元,用于根据所述红外视频图像特征部分的权重和所述可见光视频图像特征部分的权重,对所述红外视频图像特征部分和所述可见光视频图像特征部分进行融合,得到特征部分融合图;

非特征部分权重获取单元,用于获取红外视频图像非特征部分的权重和可见光视频图像非特征部分的权重;

非特征部分融合单元,用于根据所述红外视频图像非特征部分的权重和所述可见光视频图像非特征部分的权重,对所述红外视频图像非特征部分和所述可见光视频图像非特征部分进行融合,得到非特征部分融合图。

10.一种红外视频图像与可见光视频图像融合装置,其特征在于,所述装置包括红外相机、可见光相机、图像采集卡和权利要求6‑9任一项所述的红外视频图像与可见光视频图像融合系统;

所述红外相机与所述图像采集卡连接,所述图像采集卡与所述可见光相机均和所述红外视频图像与可见光视频图像融合系统连接;

所述红外相机用于循环采集红外视频图像;

所述可见光相机用于循环采集可见光视频图像;

所述图像采集卡用于获取所述红外视频图像;

所述红外视频图像与可见光视频图像融合系统用于对所述红外视频图像和所述可见光视频图像进行融合,得到融合后的图像。