利索能及
我要发布
收藏
专利号: 2019107586219
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于对抗生成网络的红外和可见光图像检索方法,包括具有编解码结构的对抗生成网络和行为识别网络,其特征在于,检索方法包括以下步骤:S1、将相同场景下的红外图像和可见光图像固定到同样的大小,并拼接在一起;

S2、将拼接在一起的图像送入对抗生成网络进行训练,根据可见光图像生红外生成图像,根据红外图像生成可见光生成图像;

S3、将拼接在一起的图像送入实例分割网络,计算生成图像中人的数量以及红外生成图像与可见光生成图像中的人数差,根据平均人数差,指定人数差的允许范围;

S4、检索时,对人数差在允许范围内的红外图像和可见光图像的图像特征进行欧式距离计算,根据欧式距离从小到大排序得到检索结果。

2.根据权利要求1所述的基于对抗生成网络的红外和可见光图像检索方法,其特征在于,所述步骤S1具体包括:可见光图像与红外图像裁剪到256×256的固定尺寸,将可见光图像和红外图像拼接在一起,组成一个512×256尺寸的组合图像。

3.根据权利要求1所述的基于对抗生成网络的红外和可见光图像检索方法,其特征在于,具有编解码结构的对抗生成网络包括生成编码器、解码器和鉴别器,其中编码器由8个卷积层构成,每个卷积层的卷积核的大小为4×4,步长为2;每个卷积层后进行归一化操作,以及使用ReLU函数进行激活;

解码器由七个卷积层组成,每个卷积核的大小为4×4,步长为2;每个卷积层后进行归一化操作;前3层在归一化处理后随机丢弃50%的数据,再使用ReLU函数进行激活,后4层归一化处理后直接进行ReLU函数进行激活;

判别器包括两个全连接层以及一个Sofomax层。

4.根据权利要求1所述的基于对抗生成网络的红外和可见光图像检索方法,其特征在于,步骤S2具体包括:S21、将准备送入网络的组合图像拆开成256×256的可见光图像和256×256的红外图像,并将红外图像像素值从[0,1]转化为[-1,1];可见光图像颜色通道的输入值从[-110,

110]转化为[-1,1];

S22、将拆开后的成对的图像(xi,yi)分别送入生成网络G和生成网络F,红外图像xi经过生成网络G,尝试生成与之场景完全匹配的伪可见光图像yi';可见光图像yi经过生成网络F,尝试生成与之场景完全匹配的伪红外图像xi',;

S23、判决网络对图像来源做二分类判别,生成器和判决器相互对抗并迭代优化,最终得到判决器无法正确判别来源的伪样本。

5.根据权利要求4所述的基于对抗生成网络的红外和可见光图像检索方法,其特征在于,生成器和判决器相互对抗并迭代优化包括生成对抗网络根据判决器和编码器中生成图像与真实图像之间的差异,即损失函数,进行优化,生成对抗网络的损失函数表示为:其中,LGAN(G,D)为判决器的损失函数;Ll1(G)为生成编码器中的损失函数;λ为权重调和因子;G为生成器,D为判决器。

6.根据权利要求5所述的基于对抗生成网络的红外和可见光图像检索方法,其特征在于,生成编码器中的损失函数Ll1(G)表示为:Ll1(G)=Ex,y,z[||y-G(x,z)||1];

其中,Ex,y,z表示对结果求均值;y表示真可见光图像;G(x,z)表示由生成器生成的伪可见光图像;||·||1表示求1范数。

7.根据权利要求5所述的基于对抗生成网络的红外和可见光图像检索方法,其特征在于,判决器中的损失函数LGAN(G,D)表示为:LGAN(G,D)=E[logD(x,y)]+E[log(1-D(x,G(x,z)))]LGAN(G,D)=E[logD(x,y)]+E[log(1-D(y,G(y,z)))]其中,E[·]表示求均值;D(x,y)表示真实的红外图像和可见光图像送入判别器,判决结果为真;G(x,z)表示由红外图像和随机噪声送入生成器生成的伪可见光图像;D(x,G(x,z))表示将真红外图像和伪可见光图像送入判别器,判决结果为假;D(x,y)表示真实的红外图像和可见光图像送入判别器,判决结果为真;G(y,z)表示由真实的可见光图像和随机噪声生成的伪红外图像;D(y,G(y,z))表示将生成的红外图像和真实的可见光图像送入判别器,判决结果为假;x表示可见光图像,y表示红外图像,z表示随机噪声。

8.根据权利要求1所述的基于对抗生成网络的红外和可见光图像检索方法,其特征在于,步骤S3计算人数差允许范围包括:将训练集中的图像送入实例分割网络,计算图像中人的数量,并计算一组红外图像与可见光图像中的人数差,根据平均人数差,指定人数差的允许范围,平均人数差表示为:其中,Edif为平均人数差; 为第i个组合图像中红外图像中人的数量; 为第i个组合图像中可见光图像中人的数量;m为可见光图像和红外图像拼接在一起的组合图像数量。

9.根据权利要求1所述的基于对抗生成网络的红外和可见光图像检索方法,其特征在于:步骤S4具体包括:S41、当输入可见光图像进行检索时,检测搜索范围内的红外图像与输入的可见光图像中人数差是否小于平均人数差,若小于则属于人数差允许范围内;

S41、当输入红外图像进行检索时,检测搜索范围内的可见光图像与输入的红外图像中人数差是否小于平均人数差,若小于则属于人数差允许范围内;

S42、提取在人数差允许范围内图像的图像特征,计算根据图像特征计算输入图像与人数差允许范围内图像的欧氏距离,计算公式为: 其中Rx表示红外图像的图像特征;Ry表示可见光图像的图像特征。