1.一种基于双重属性信息的跨模态行人重识别方法,其特征在于,包括如下步骤:a)将监控摄像头所拍摄的内容中提取行人文本描述特征T和行人的图片特征I;
b)对提取的行人文本描述中提取出文本属性特征cT,对提取的图片提取出图片属性特征cI;
c)将步骤a)中的行人文本描述特征和行人的图片特征输入到共享子空间中并计算难样本三元组损失函数,通过Softmax损失函数计算得到共享子空间中特征的分类损失;
d)将行人文本描述特征T和行人的图片特征I与文本属性cT和图片属性cI进行特征融合;
e)基于属性信息构建特征属性空间;
f)对提取的图片的特征及行人文本描述特征进行检索匹配;
步骤b)的提取步骤如下:
b‑1)使用NLTK工具库对行人文本描述的数据进行预处理,提取出形容词加名词、多个名词叠加两种格式的名词词组;
b‑2)将提取的名词词组按照词频进行排序,将低频词组舍弃,保留排名前400的名词词组组成属性表,得到文本属性cT;
b‑3)将图片使用PA‑100K数据集训练,得到26种预测值,将预测值大于0的的图片的属性标记为1,将预测值小于0的图片的属性标记为0,得到图片属性cI;步骤c)包括如下步骤:c‑1)通过公式 计算得到难样本三元组损失Ltrip(I,T),式中Ik为第k个图片的特征,将Ik作为锚, 为与锚Ik距离最近的异类文本样本特征, 为与锚Ik距离最远的同类文本样本特征,Tk为第k个行人文本描述特征,将Tk作为锚, 为与锚Tk距离最近的异类文本样本特征, 为与锚Tk距离最远的同类文本样本特征,ρ1为三元组损失的边界,S()为余弦相似度计算;
c‑2)通过公式 计算 与 之间的余弦相似度,式中 为第k个图片的共享子空间特征, 为第k个行人文本描述的共享子空间特征;
c‑3)通过公式 计算共享子空间图片特征Ik的分类损失Lcls(Ik),式中 为转置后的共享子空间中的图片特征,式中W为分类器,Wdl×C
∈R ,dl为共享子空间中的特征维度,C为行人身份信息类别数目,yk为 的身份信息,b为偏置向量, 为第j类的分类向量,bj为第j类的偏置值, 为对应的第yk类的分类向量,byk为第yk类的偏置值,通过公式 计算共享子空间行人文本描述特征Tk的分类损失函数Lcls(Tk), 为转置后的共享子空间中的文本特征;
c‑4)通过公式 计算共享子空间的的损失函数Llatent(I,T),n为一个batch中样本数;
步骤d)包括如下特征:
d‑1)通过公式 计算损失函数Lcoral(I,T),图片特征I由组成,行人文本描述特征T由 组成,式中|v|表示 和 的维度,||·||F为Frobenius范数;
d‑2)通过公式t=sigmoid(C×Ug+F×Uf)计算属性特征和图片或文本特征在特征融合时的权重,式中C为待融合的属性特征,F为待融合的图片或文本特征,Ug与Uf为投影矩阵,式s×da da×da
中t为投影结果相加后经过sigmoid函数得到特征融合时的权重,Ug∈R ,Uf∈R 为投影矩阵,s为图片属性或文本属性的类别数,da为属性空间的特征维度;
s×da
d‑3)通过公式A=t*||C×Wg||2+(1‑t)*||F×Wf||2计算融合后的特征A,式中Wg∈R ,da×da
Wf∈R 为投影矩阵;
步骤e)包括如下特征:
e‑1)通过公式 计算属性
空间的三元损失La‑trip(I,T),式中ρ2为三元组损失边界,Sa()为cosine相似度计算, 为第k个属性空间中的图片的特征,将 作为锚, 为与锚 距离最近的异类文本样本特征,为与锚 距离最远的同类文本样本特征, 为第k个属性空间中的行人文本描述特征,将 作为锚, 为与锚 距离最近的异类文本样本特征, 为与锚 距离最远的同类文本样本特征;
e‑2)通过公式 计算 和 的余弦相似度,式中 和 均为属性空间中融合属性信息后的具有语义信息的图文特征;
e‑3)通过公式 计算属性空间中的损失函数Lattr(I,T)。
2.根据权利要求1所述的基于双重属性信息的跨模态行人重识别方法,其特征在于,步骤a)中提取行人文本描述包括如下步骤:a‑1.1)对监控摄像头所拍摄的内容的描述语句分词后建立词频表;
a‑1.2)过滤掉词频表中的低频词语;
a‑1.3)对词频表中的单词的编码使用one‑hot进行编码;
a‑1.4)使用双向LSTM模型进行行人文本描述的特征提取。
3.根据权利要求1所述的基于双重属性信息的跨模态行人重识别方法,其特征在于,步骤a)中提取图片包括如下步骤:a‑2.1)使用在ImageNet数据集上完成预训练的ResNet网络进行图片特征提取;
a‑2.2)对提取的图片进行语义分割,使用与步骤a‑2.1)相同的ResNet网络对语义分割后的结果图片进行特征提取。
4.根据权利要求1所述的基于双重属性信息的跨模态行人重识别方法,其特征在于,步骤f)包括如下特征:
f‑1)通过公式L(I,T)=Llatent(I,T)+Lattr(I,T)计算双重属性网络的损失函数L(I,T);
f‑2)通过公式 计算双重属性的相似度A(Ik,Tk),式中Al为共享子空间中学到的特征 所计算出的相似度,AC为属性空间中学到的特征 所计算的相似度;
f‑3)根据相似度A(Ik,Tk)计算跨模态匹配的准确率。