1.基于中间模态的参数共享和特征学习的跨模态行人重识别方法,其特征在于,包括以下步骤:S1.获取训练数据集,所述训练数据集中每个训练样本为带有身份标注的可见光和红外线图像,将训练样本输入到所提出中间模态生成器中,所生成的中间模态图像和原始图像具有相同的身份标识;
S2.将生成的中间模态图像Mvis,Mir与原始图像VIS,IR一起送入所设计的参数共享的双流网络中提取模态共享特征;
S3.将提取的特征图送入所设计的全局和局部特征学习模块,从粗粒度和细粒度两个层次减少模态差异;
S4.使用Ldclloss训练中间模态生成器,使得生成的中间模态图像更加接近,Lidloss与Lhc_triloss的组合监督局部特征,Lccloss监督全局特征,总体损失L为上述loss的总和,通过总体损失L的反向传播对中间模态生成器和双流主干网络的参数进行优化;所述总体损失L表示如下:L=Lid+0.5Ldcl+Lhc_tri+Lcc (1)
其中Lid是滑动标签交叉熵损失,Lhc_tri异中心三元组损失,Lid和Lhc_tri联合监督局部特征,Ldcl是分布一致性损失,用于使得中间模态生成器生成的图像互相接近;Lcc是中心聚集损失,用于监督全局特征;
中心聚集损失Lcc表示为:
Lcc=Lcc(V,I)+Lcc(V,Mvis)+Lcc(Mvis,I)+Lcc(Mvis,Mir) (6)其中Lcc(V,I)表示对VIS与IR图像的中心聚集损失,其具体公式表示为:
其中 是当前批次中带有标签yi的特征的平均值,P是当前批次中的身份数量,σ是中心之间的最小边距;其中B表示每个模态输入图像的数量,2B为VIS图像与IR图像在批量拼接后的图片数量;其他模态间的中心聚集损失与公式(7)类似;
S5.将待识别图像输入到训练好的网络中,分别提取待识别图像特征和数据库图像特征,通过图像特征的比对,完成待识别图像的识别。
2.根据权利要求1所述的基于中间模态的参数共享和特征学习的跨模态行人重识别方法,其特征在于,步骤S1所述中间模态生成器包含两个参数不共享的模态信息编码器Evis,Eir,以及一个参数共享的模态信息解码器D将VIS和IR图像投影到统一的特征空间。
3.根据权利要求1所述的基于中间模态的参数共享和特征学习的跨模态行人重识别方法,其特征在于,步骤S2所设计的参数共享的双流网络对resnet50网络进行划分,其中第零个卷积层和第一个卷积层参数不共享用于构造模态特定特征提取网络,以提取模态特定特征;第二,三,四个卷积层参数共享,用于构造模态共享特征嵌入网络,以提取模态共享特征。
4.根据权利要求1所述的基于中间模态的参数共享和特征学习的跨模态行人重识别方法,其特征在于,步骤S3所述全局和局部特征学习,采用对行人水平切片获取局部特征,并对局部特征采用Lidloss与Lhc_triloss的组合监督;对全局特征采用Lccloss监督。
5.根据权利要求1所述的基于中间模态的参数共享和特征学习的跨模态行人重识别方法,其特征在于,步骤S4所述Lid的定义为:其中C是训练集中的类别个数,y表示是人员的ID标签,pi是类别i的预测的概率,ε是一个小常数,鼓励模型在训练集上不要太自信;
Ldcl的计算公式如下:
其中N是训练阶段批次中Mvis和Mir图像的数量总和,f()是网络的全连接层之前的输出,mean[A‑B]是A和B之差的均值运算,Ldcl的优化会使得中间模态生成器MMG生成的两种类型的M模态图像更相似;
四种模态图像间的异中心三元组损失为:
Lhc_tri=Lhc_tri(V,I)+Lhc_tri(V,Mir)+Lhc_tri(I,Mvis)+Lhc_tri(Mvis,Mir) (4)其中Lhc_tri(V,I)表示对VIS与IR图像的异中心三元组损失,其具体公式表示为:其中P表示每次迭代随机选择P个身份, 分别代表批量中第i个身份的VIS图像,IR图像,和锚样本的特征中心;||A‑B||2是计算A与B的欧几里得距离,ρ是超参;对其他模态的计算公式和上述公式相同。
6.根据权利要求5所述的基于中间模态的参数共享和特征学习的跨模态行人重识别方法,其特征在于,σ设置为0.3,ρ设置为0.3,ε设置为0.1。