1.一种基于卷积神经网络的跨模态行人重识别方法,其特征在于,所述基于卷积神经网络的跨模态行人重识别方法,包括:获取带有身份标注的跨模态训练数据集,所述训练数据集中每个训练样本包括一个身份对应的红外线模态图像和日光模态图像;
将训练样本输入到基于Resnet‑50构建的网络模型中,将所述Resnet‑50第三个残差层中第一个残差块输出的特征图记为F3,所述特征图F3送入3个分支分别进行处理,得到特征图fg、f1、fl2、fl3、fl4、fl5,包括:第一分支包括Resnet‑50第三个残差层剩余的残差块和第四个残差层,提取出全局特征图fg;
第二分支包括Resnet‑50第三个残差层剩余的残差块和第四个残差层,通过垂直均匀切片得到局部特征图fl1、fl2;
第三分支包括Resnet‑50第三个残差层剩余的残差块和第四个残差层,通过垂直均匀切片得到局部特征图fl3、fl4、fl5;
分别计算红外线模态和日光模态特征图F3、fl1、fl2、fl3、fl4、fl5之间的特征对应关系;
对红外线模态和日光模态特征图F3、fl1、fl2、fl3、fl4、fl5进行特征重建,得到重建特征图构建联合损失函数,根据红外线模态和日光模态特征图fg、F3、fl1、fl2、fl3、fl4、fl5以及重建特征图 计算联合损失,进行反向传播,更新网络模型的网络参数;
采用训练好的网络模型提取查询图像的特征,与数据库中图像的特征进行比对,识别出查询图像中行人的身份;
其中,所述对红外线模态和日光模态特征图F3、fl1、fl2、fl3、fl4、fl5进行特征重建,得到重建特征图,重建公式如下:MRGB(i)=|fRGB(i)|
MIR(j)=|fIR(j)|
其中,fRGB(i)和fIR(j)分别表示日光模态特征图和红外线模态特征图位置特征向量,i表示日光模态特征图i位置,j表示红外线模态特征图j位置,MRGB表示日光模态特征图上所有位置的响应强度,MIN表示取最小值,MAX表示取最大值,MIR表示红外线模态特征图上所有位置的响应强度,MRGB(i)表示日光模态特征图上i位置的响应强度,MIR(j)表示红外线模态特征图上j位置的响应强度, 表示重建后的日光模态特征图i位置特征向量,表示重建后的红外线模态特征图j位置特征向量。
2.根据权利要求1所述的基于卷积神经网络的跨模态行人重识别方法,其特征在于,所述第一分支的第四个残差层带有下采样。
3.根据权利要求1所述的基于卷积神经网络的跨模态行人重识别方法,其特征在于,所述计算红外线模态和日光模态特征图F3、fl1、fl2、fl3、fl4、fl5之间的特征对应关系,计算公式如下:T
C(i,j)=fRGB(i)·fIR(j)
其中,fRGB(i)和fIR(j)分别表示日光模态特征图和红外线模态特征图位置特征向量,i表示日光模态特征图i位置,j表示红外线模态特征图j位置,C(i,j)表示位置特征对应关系。
4.如权利要求1所述的基于卷积神经网络的跨模态行人重识别方法,其特征在于,所述联合损失函数公式如下:其中, 表示身份损失函数, 表示三元组损失函数,所述身份损失函数 和三元组损失函数 分别对全局特征计算损失,所述全局特征通过对全局特征图fg进行GeM池化和全连接降维操作得到;
所述 表示SmoothAP损失函数,所述SmoothAP损失函数 分别对局部特征和局部重建特征计算损失,所述局部特征通过对局部特征图fl1、fl2、fl3、fl4、fl5进行GeM池化和全连接降维操作得到,所述局部重建特征通过对局部重建特征 进行GeM池化和全连接降维操作得到;
所述 表示密集三元组损失函数,所述密集三元组损失函数 分别对重建特征图计算损失。