1.基于注意力引导和多尺度标签生成的跨域行人重识别方法,按照如下步骤进行:步骤(1)在残差网络ResNet50中引入注意力机制,增加多尺度分支,构建自定义的神经网络;
步骤(2)利用有标记的源域数据训练步骤(1)构建的神经网络,得到初始re‑ID模型;
步骤(3)将源域图像输入StarGan模型进行风格迁移,使源域图像获得目标域中对应相机的风格样式,得到风格迁移后的源域数据集,利用该数据集微调初始re‑ID模型;
步骤(4)将无标记的目标域数据输入到步骤(3)得到的re‑ID模型中进行特征提取,得到每个图像的多尺度特征分组;
步骤(5)根据步骤(4)生成的多尺度特征分组,分别进行距离计算构建距离矩阵,结合聚类算法对每组进行聚类,根据聚类结构,对目标域图像标注伪标签;
步骤(6)使用标注多尺度伪标签的目标域数据和渐进式的训练策略训练步骤(3)得到的re‑ID模型;
步骤(7)迭代循环步骤(4)‑步骤(6),直到模型稳定;使用最终的re‑ID模型在测试集中检索待查询图片,得到最终结果。
2.根据权利要求1所述的基于注意力引导和多尺度标签生成的跨域行人重识别方法,其特征在于所述步骤(1)具体实现过程如下:
1‑1采用在ImageNet上预训练过的ResNet50作为骨干网络,保留主干部分的四个阶段,去除最后的空间下采样操作、全局平均池化层和完全连接层,并在残差块中的第一个BN层中加入实例归一化层;
1‑2在ResNet50的各阶段之间插入注意力引导的背景约束模块,背景约束模块包括正向注意力机制和反向注意力机制;
正向注意力机制由通道注意力C和空间注意力S两部分组成,可以写成S和C的张量乘积,如公式(1)所示;
ATT=Sigmoid(S×C) (1)反向注意力机是由正向注意力机制所放弃的特征形成,解决正向注意力机制导致的特征信息丢失问题,反向注意力机制的内核如公式(2)所示;
ATTR=1‑Sigmoid(S×C) (2)
1‑3从ResNet50的阶段2和3中提取特征的多尺度分支,也就是分别从阶段2和3提取骨干网络中生成的浅层、中层特征;在ResNet50第4阶段后添加一个全连接层和一个带有切片操作的局部分支,通过局部分支获得行人全局特征、上半部分特征和下半部分特征;并在最后增加一个BN层和分类线性层,该输出用于交叉熵损失训练网络。
3.根据权利要求2所述的基于注意力引导和多尺度标签生成的跨域行人重识别方法,其特征在于所述步骤(2)具体实现过程如下:
2‑1源域预训练联合困难三元组损失和Softmax交叉熵损失作为损失函数,其中,ResNet50第4阶段后第一个全连接层的输出特征用于困难三元组损失,分类线性层的输出用于交叉熵损失;使用该损失函数训练直至模型收敛,得到使用源域数据训练的初始re‑ID模型。
4.根据权利要求3所述的基于注意力引导和多尺度标签生成的跨域行人重识别方法,其特征在于所述步骤(3)具体实现过程如下:
3‑1为了学习一个有效的风格迁移模型,构建基于StarGAN的相机风格样式转换模型,假设在目标域集合中有C个相机,首先训练一个StarGAN模型,它能在每个相机对之间实现图像‑图像的转换;
3‑2对于源域中的每张图像Xs,i,使用StarGAN模型生成C张图像,每张图像包含图像Xs,i中同一行人,即生成图像的行人标签与原图像一致,且图像风格对应目标域中的相应相机风格;将生成的风格迁移样本与源域原样本结合形成新的训练集,使用困难三元组损失微调步骤(2)中得到的初始模型。
5.根据权利要求4所述的基于注意力引导和多尺度标签生成的跨域行人重识别方法,其特征在于所述步骤(4)具体实现过程如下:
4‑1对于目标域数据集中的每张图像 使用re‑ID模型提取特征;将目标域图像 输入re‑ID模型,得到行人全局特征、上半部分特征和下半部分特征,以及骨干网络中生成的浅层特征、中层特征;并将这些多尺度特征经过GAP操作;因此,将目标域图像 输入模型可以提取到五组特征向量,分别是全局特征 上半部分特征 下半部分特征浅层特征 和中层特征
6.根据权利要求5所述的基于注意力引导和多尺度标签生成的跨域行人重识别方法,其特征在于所述步骤(5)具体实现过程下:
5‑1对生成的多尺度特征分组计算其两两之间的相似度,引入K‑倒数编码法得到行人特征距离矩阵,然后使用无监督聚类方法DBSCAN分别对多尺度特征向量组进行聚类,对属于同一个簇内的样本分配同一个伪标签,根据5个特征向量的分组结果建立一个新的目标数据集,每个图像都有5个伪标签,如公式(3)所示;
其中, Nt表示目标域图片数量。
7.根据权利要求6所述的基于注意力引导和多尺度标签生成的跨域行人重识别方法,其特征在于所述步骤(6)具体实现过程下:
6‑1使用标注多尺度伪标签的目标域数据作为监督信息,对每个尺度的伪标签组采用困难三元组损失训练网络,困难三元组损失通过随机采样P个身份,每个身份抽取K个实例,组成一个大小为P*K的minibatch;依次选取批次中的每个图片xa作为锚点,选出批次中距离最远的正样本图片xp和距离最近的负样本图片xn组成三元组来训练网络,增强网络的泛化能力;其公式为:
6‑2当网络使用困难三元组损失达到最佳性能后,加入交叉熵损失进一步优化网络;从而解决训练初期使用交叉熵损失导致的误差放大问题,也避免模型使用三元组损失陷入局部最优解问题,其公式如下:
其中,C1表示目标域中行人类别数;
6‑3当模型稳定后,得到最终re‑ID模型,将待查询图片和测试集图片输入最终的re‑ID模型进行特征提取,对比查询图片特征与测试集图片特征之间的余弦距离,输出最匹配的行人图片。