利索能及
我要发布
收藏
专利号: 2020113548522
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-07
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于特征解耦的红外和可见光图像检索方法,所述图像检索方法包括以下步骤:

S1、将配对后的红外图像和可见光图像后分别送入特征解耦模块,得到各自的属性特征和一致性特征;

S2、交换红外图像和可见光图像生成的属性特征,并将交换后的属性特征与原有的一致性特征拼接,送入生成器重建红外图像和重建可见光图像并利用鉴别器判别来源;

S3、将重建的红外图像和可见光图像分别送入特征解耦模块,分别得到重组属性特征和重组一致性特征;

S4、再次交换重建红外图像和可见光图像生成的重组属性特征,并与重组后的一致性特征拼接,送入生成器得到虚假红外图像和虚假可见光图像并利用鉴别器判别来源;

S5、最小化步骤S1到步骤S4训练过程产生的损失和,将生成器和鉴别器构成特征解耦模块的反馈网络;对包括反馈网络的特征解耦模块进行训练;

S6、输入未配对的红外图像和可见光图像,利用训练完成的特征解耦模块输出红外图像以及可见光图像的一致性特征;

S7、计算出红外图像和可见光图像一致性特征之间的相似度距离,根据相似度距离从小到大排序得到红外图像检索可见光图像的结果或者可见光图像检索红外图像的结果。

2.根据权利要求1所述的一种基于特征解耦的红外和可见光图像检索方法,其特征在于,所述配对后的图像包括将相同背景和相同人物的红外图像与可见光图像固定到同样的大小,对所述红外图像和所述可见光图像进行配对并进行拼接处理。

3.根据权利要求1所述的一种基于特征解耦的红外和可见光图像检索方法,其特征在于,所述特征解耦模块包括属性特征提取器和一致性特征提取器;所述属性特征提取器包括多个卷积层和一个全连接层,每个卷积层后进行批归一化操作,并使用ReLU函数进行激活;所述一致性特征提取器包括多个卷积层,每个卷积层后均进行批归一化操作,除最后一个卷积层以外,其余卷积层使用ReLU函数进行激活。

4.根据权利要求1所述的一种基于特征解耦的红外和可见光图像检索方法,其特征在于,所述步骤S1包括:

S11、将准备送入特征解耦模块的配对图像拆分成相同大小的可见光图像和红外图像,并对像素值进行归一化操作;

S12、将拆开后成对的红外图像x和可见光图像y分别送入红外图像特征解耦模块和可见光图像特征解耦模块;得到红外图像属性特征ax和一致性特征sx,可见光图像属性特征ay和一致性特征sy;

S13、采用相似性损失、KL散度损失以及三重损失对一致性特征、属性特征进行约束。

5.根据权利要求4所述的一种基于特征解耦的红外和可见光图像检索方法,其特征在于,所述步骤S13包括:

利用相似性损失对一致性特征sx和sy采用L1函数约束,使得红外图像和可见光图像的一致性特征具有较小的相似度距离;

利用KL散度损失对属性特性ax和ay进行约束,使得属性特征接近先验高斯分布;

采用三重损失进行约束,使配对的红外图像和可见光图像之间的一致性特征距离更小,不配对的红外图像和可见光图像之间的一致性特征距离更大。

6.根据权利要求1所述的一种基于特征解耦的红外和可见光图像检索方法,其特征在于,所述步骤S2包括:

S21、交换红外图像和可见光图像的属性特征,并与另一个图像模态的一致性特征进行组合;

S22、将重组后的红外图像的特征向量送入红外图像生成器,重组后的可见光图像的特征向量送入可见光图像生成器,得到重建红外图像和重建可见光图像;

S23、将重建红外图像和重建可见光图像送入鉴别器,分别与真实的红外图像和真实的可见光图像进行判决;

S24、鉴别器对图像来源做二分类判别,生成器和鉴别器相互对抗并迭代优化,最终得到鉴别器无法正确判别来源的伪样本;

S25、生成器和鉴别器相互对抗生成对抗网络,根据鉴别器和生成器中生成图像与真实图像之间的差异,优化对抗网络的损失;

S26、使用图像重构损失进行图像级别的约束,使重建的红外图像和原红外图像相似;

重建的可见光图像与原可见光图像相似。

7.根据权利要求1所述的一种基于特征解耦的红外和可见光图像检索方法,其特征在于,所述步骤S3包括:

S31、分别得到重组属性特征和重组一致性特征;

S32、使用重组损失进行特征级别的约束,使重组的属性特征和一致性特征与原图的属性特征和一致性特征相似。

8.根据权利要求1所述的一种基于特征解耦的红外和可见光图像检索方法,其特征在于,所述步骤S4包括:

S41、交换重建红外图像和重建可见光图像的属性特征,并于另一个图像模态的一致性特征进行组合;

S42、将重组后的重建红外图像的特征向量送入红外图像生成器,将重组后的重建可见光图像的特征向量送入可见光图像生成器,得到虚假红外图像和虚假可见光图像;

S43、将虚假红外图像和虚假可见光图像送入鉴别器,分别与真实的红外图像和真实的可见光图像进行判决;

S44、鉴别器对图像来源做二分类判别,生成器和鉴别器相互对抗并迭代优化,最终使得鉴别器无法正确判别来源的伪样本;

S45、生成器和鉴别器相互对抗并迭代优化包括生成对抗网络根据鉴别器和生成器中生成图像与真实图像之间的差异;

S46、使用图像重构损失进行图像级别的约束,使虚假红外图像和原红外图像相似;虚假可见光图像与原可见光图像相似。

9.根据权利要求1所述的一种基于特征解耦的红外和可见光图像检索方法,其特征在于,所述相似度距离包括余弦距离或者欧式距离。