1.一种基于生成对抗网络的跨模态行人重识别方法,其特征在于,所述基于生成对抗网络的跨模态行人重识别方法,包括:获取训练数据集,所述训练数据集中每个训练样本为带有身份标注的第一图像和第二图像,所述第一图像和第二图像分别为自然光图像和红外线图像中的一种,将训练样本输入到生成对抗网络训练生成器;
训练样本中的第一图像经过所述生成器生成伪第二图像,将生成的伪第二图像与训练样本中真实第二图像输入到构建的特征对齐网络,提取伪第二图像特征和真实第二图像特征;
将伪第二图像与伪第二图像特征组成伪图像特征对,将训练样本中真实第二图像与真实第二图像特征组成真实图像特征对,送入联合鉴别器进行判别;
计算生成对抗网络、特征对齐网络和联合鉴别器的联合损失,完成网络训练;
将数据库中图像输入到训练好的生成对抗网络中的生成器,所述生成器输出伪图像与待识别图像输入到特征对齐网络,分别提取对应的图像特征,通过图像特征的比对,完成待识别图像的识别。
2.根据权利要求1所述的基于生成对抗网络的跨模态行人重识别方法,其特征在于,所述特征对齐网络的主干网络采用Resnet‑50,包括第一卷积层、第二卷积层、第三卷积层和第四卷积层,每个卷积层之后设置有NAM注意力机制模块,并且第三卷积层和第四卷积层的NAM注意力机制模块之后还设置了MAM模态缓解模块。
3.根据权利要求2所述的基于生成对抗网络的跨模态行人重识别方法,其特征在于,所述第一卷积层、第二卷积层、第三卷积层和第四卷积层去除了池化层。
4.根据权利要求2所述的基于生成对抗网络的跨模态行人重识别方法,其特征在于,所述NAM注意力机制模块位于每个卷积层的批量归一化层之后。
5.根据权利要求1所述的基于生成对抗网络的跨模态行人重识别方法,其特征在于,所述联合损失表示如下:pix feat D
其中,L 表示生成对抗网络损失,L 表示特征对齐网络损失,L 表示联合鉴别器损失, 表示生成对抗网络的对抗损失, 表示特征对齐网络的对抗损失,Lcyc表示生成对抗网络的循环一致性损失,λcyc、 表示对应损失函数的权重, 表示生成对抗网络中对生成图片的分类损失, 表示生成对抗网络对生成图像计算三元组损失, 表示特征对齐阶段对特征计算分类损失, 表示特征对齐阶段对特征计算三元组损失, 表示生成对抗网络的权重, 表示联合鉴器别器鉴别图像—特征对为真时的损失, 表示联合鉴别器鉴别图像特征对为假时的损失;
其中,(x,m)表示输入到联合鉴别器的图像特征对,X′ir表示生成的伪第二图像,Xir表示真实第二图像,Mir表示真实第二图像经过特征对齐网络提取的特征图,M′ir表示伪第二图像经过特征对齐网络提取的特征图,Dj(x,m)表示联合鉴别器的输出;
其中,联合鉴别器损失计算公式如下:
其中, 表示联合鉴器别器鉴别图像特征对为真, 表示联合鉴别器鉴别图像特征对为假,Dj(x,m)为联合鉴别器的输出,当鉴别为真时输出1,鉴别为假时输出0,E为求数学期望,(Xir,Mir)表示同一身份下的真实图像特征对, 是与(Xir,Mir)的身份相同的伪图像特征对, 是与(Xir,Mir)不同身份下的真实图像特征对;
其中, 表示对从特征对齐网络提取的Xir和X′ir特征计算分类损失,p()对输入图像正确分类到其真实身份的预测概率, 表示对生成图像计算三元组损失;
Lcyc=‖Gp'(Gp(Xrgb))‑Xrgb‖1+‖Gp(Gp′(Xir))‑Xir‖1;
其中,Gp代表生成器,将第一图像生成伪第二图像,Gp′也是生成器,将伪第二图像生成回第一图像, 代表对生成图像X′ir进行分类损失计算, 代表对生成图像X′ir和真实红外图像Xir计算三元组损失,Lcyc表示循环损失函数,Ltri表示三元组损失函数。