1.一种基于双域融合和跨批次存储的行人重识别方法,其特征在于:该方法包括以下步骤:S1:获取源域和目标域行人图像数据集,并进行相应的预处理操作;
S2:构建双域融合模块,并将其嵌入到在ResNet‑50网络中,得到新的主干网络DDF‑Net;所述双域融合模块具体放置在ResNet‑50的Stage0和Stage1之间;该模块的构建过程包括:一个批次包含n对源域和目标域样本,经过ResNet‑50的Stage0阶段后,每一个样本对都能够输出一个源域特征 和一个目标域特征 并将二者作为s
双域融合模块的输入部分;双域融合模块输出部分包括三个特征:源域特征G、目标域特征t sG以及将源域特征和目标域特征进行深度融合后得到的融合特征 首先,G 和tG分别执行全局平均池化和全局最大池化操作得到 在
源域分支上将特征 和特征 逐元素相加得到特征 在目标域分支上将特征和特征 执行同样的操作获得特征 接下来 和 各自经过一个全连接层,并将二者的输出特征向量按照逐元素相加的形式进行合并,接着,合并结果会被送入一个多层s t s t s t感知机中进行维度的改变;之后会输出领域因子a=[a ,a],其中a和a满足a+a=1,领域因子的具体计算过程如下:其中,δ(·)代表softmax函数;
s t
最后,让领域因子a和源域的增强特征 执行相乘操作,让领域因子a 和目标域的增强特征 执行相乘操作,二者得到的结果再逐元素相加得到两个域最终的融合特征 融合域特征的计算过程如下:i
对于输入的单域特征G ,其中i=[s,t]用于代表源域或者目标域,首先,沿着通道方向i分别对G 执行最大池化和平均池化操作得到特征 和 接着,使用sigmoid函数处理 和 得到权重矩阵 和 然后,让 和i
与G每个通道中的特征图分别进行元素级别的相乘操作,得到通道维度上的显著性特征 和 最后,将显著性特征 和显著性特征 逐元素相加得到增强特征 增强特征的具体计算过程如下所示:
其中,φ(·)代表sigmoid函数;CMP(·)和CAP(·)分别代表沿着通道方向的最大池化函数和平均池化函数;
S3:在每个轮次开始训练之前,首先,使用DDF‑Net对目标域中的所有行人图像进行特征提取,然后,使用DBSCAN聚类算法对目标域行人特征进行聚类,最后,根据聚类结果为每张目标域中的行人图像生成伪标签;
S4:在每个轮次开始训练之后,从源域数据中随机选取n张源域图像,从目标域数据中随机选取n张目标域图像,二者组合成一个批次的数据量送入DDF‑Net中进行特征提取;
S5:对DDF‑Net输出的源域和目标域的原始特征进行如下三种操作:(1)将特征送入混合分类器 中并使用交叉熵损失 对模型进行约束,最终使模型获得分类能力;
(2)使用batch‑hard三元组损失 计算特征间的相似度;
(3)将特征存储到跨批次存储队列CBMQ中并使用加权对比损失 在每次迭代过程中将CBMQ中的样本分成L组负样本和K组正样本,并根据余弦相似度自适应地为每组正负样本对赋予一定的权重;
S6:对DDF‑Net输出的源域和目标域的融合特征和领域因子分别施加融合损失Lf和多样性损失Ld;
S7:根据S5~S6得在整个训练过程中DDF‑Net模型的总损失函数为:Ltotal=(1‑μ1)·Lce+μ·LWCL+μ1·Lf+μ2·LdS8:重复步骤S3~S7,直至训练完成设定的最大迭代轮次,保存模型权重,结束训练;
S9:将查询集和候选集中的行人图像送入S8已经训练完毕的模型中进行特征提取,使用距离度量函数计算待查询图像和候选集中所有图像的相似度,并将相似度得分按照从大到小的顺序进行排序,输出排序列表和性能指标。
2.根据权利要求1所述的一种基于双域融合和跨批次存储的行人重识别方法,其特征在于:所述S1具体为:将行人图像分辨率统一调整为256×128,使用随机翻转、随机擦除、随机裁减对输入图像进行增强处理。
3.根据权利要求1所述的一种基于双域融合和跨批次存储的行人重识别方法,其特征在于:对所述融合特征施加融合约束,对所述领域因子施加多样性约束;
所述融合约束保证融合特征位于源域和目标域的最短测定路径上并与源域特征和目标域特征保持正确的距离关系,让源域和目标域之间特征分布最小化,让整个域迁移过程更加平滑,融合损失的具体计算过程如下:其中,n代表批次的大小;k代表域标签; 代表mini‑batch中第i个样本对经过双域融合模块输出的领域因子; 代表当前批次中第i个样本对经过双域融合模块输出的源域特征和目标域特征; 代表当前批次中第i个样本对经过双域融合模块输出的融合域特征;
通过最大化每个领域因子的标准差来避免融合域特征对源域或者目标域其中一个过度适应,多样性损失定义如下:其中,σ(·)代表标准差;n代表批次的大小。
4.根据权利要求1所述的一种基于双域融合和跨批次存储的行人重识别方法,其特征s t在于:所述S5中,混合分类器 的组成部分如下:一个L2正则化层、一个具有C+C维度的s t全连接层和一个softmax激活函数,其中,C代表源域数据中真实行人身份类别数,C代表目标域中伪标签的个数。
5.根据权利要求1所述的一种基于双域融合和跨批次存储的行人重识别方法,其特征在于:所述跨批次存储队列CBMQ的工作流程为:首先在内存中建立一个队列Q,以表示,其中 代表队列中第i个行人的特征向量, 为特征对应的身份标签;在源域中 为行人图像的真实标签;在目标域中 为行人图像特征经过聚类得到的伪标签;在DDF‑Net模型开始训练之前,首先初始化Q的值为0,初始化Q的长度为M,其中M的计算过程如下所示:s t
M=(N+N)·r
s t
其中,N 和N 分别代表源域数据和目标域数据中的行人图像数量;内存系数r表示一个可以控制队列长度的超参数,其中r∈[0,1];
DDF‑Net以队列的形式来维护和更新CBMQ;当一个批次的样本数据到来时,首先使用DDF‑Net提取当前批次内所有行人图像的特征,然后判断队列是否已满:如果队列Q不满的话,直接将当前批的特征及标签压入队列;如果队列Q已满的话,则先将位于队首的一个批次大小的数据剔除出队列,然后再将当前批次的数据送进队列中,在整个更新过程中始终保持队列Q的长度为M。
6.根据权利要求1所述的一种基于双域融合和跨批次存储的行人重识别方法,其特征在于:在所述CBMQ中使用加权对比损失在不同批次间挖掘困难的正负样本对,具体过程为:根据当前批次中每个锚样本的标签信息将CBMQ中的所有样本分成L组负样本和K组正样本,并根据余弦相似度自适应地为每组正负样本对赋予一定的权重,从而让模型更加有效地挖掘出困难样本对;加权对比损失计算过程如下所示:其中,γ代表放缩因子; 和 分别代表负、正样本对的权重系数;α代表阈值; 和分别代表当前批次中锚样本和CBMQ中负、正样本之间的余弦相似度。