1.一种基于强化共性特征的换衣行人重识别方法,其特征在于,包括以下步骤:S1.获取待检索的行人图像数据集,并在数据集中确定原始图像 和与原始图像相同身份标签的图像 ;
S2.将图像 和 输入到衣服混合与匹配CMM模块中,经过人类语义解析模型、人体骨架关键点检测模型和透视变化方法合成穿着不同服装的同一个人的图像,接着经过ResNet50骨干网络,得到衣服混合流特征 ;
S3.所述原始图像 经过人体身份增强流HIE模块将图像进行上衣置黑操作,经过和步骤S2共享参数的ResNet50骨干网络,得到人体身份增强流特征 ;
S4.所述原始图像 、衣服混合流特征 以及人体身份增强流特征 输入到共性特征提取CFE模块进行特征提取,得到第一显著图 、第二显著图 以及第三显著图 ;
S5.所述第一显著图 、第二显著图 以及第三显著图 输入到分类器中,得到分类结果,所述分类器包括归一化层、1×1卷积层和全局池化层;
S6.通过损失函数对步骤S2‑S5过程进行迭代优化,得到训练好的ResNet50模型;
S7.将待检测图像输入到训练好的模型中,得到待检测图像的检索特征;
S8.将所述检索特征与检索库中的行人图像特征进行相似度匹配,按照相似性得分由高到低的顺序对行人图像进行排序,并将排序结果输出得到行人重识别结果。
2.根据权利要求1所述的一种基于强化共性特征的换衣行人重识别方法,其特征在于,步骤S2具体包括:S21.将原始图像 和与原始图像相同身份标签的图像 分别输入到人体语义解析模型中,得到原始上衣掩码图像 和相同身份标签上衣掩码图像 ;
S22.将原始图像 和与原始图像相同身份标签的图像 输入到Alpha‑Pose模型中分别提取两个图形中的行人左肩、右肩、左髋骨和右髋骨的坐标,得到原始图像行人坐标和相同身份标签图像行人坐标;
S23.利用原始图像行人坐标和相同身份标签图像行人坐标计算 变换矩阵 ,通过变换矩阵 对所述原始图像 和原始上衣掩码图像 进行透视变换,分别得到第一透视变换图像 和第二透视变换图像 ,将第一透视变换图像 和与原始图像相同身份标签的图像 进行特征相乘,经过ResNet50骨干网络进行特征提取,得到衣服混合流特征 。
3.根据权利要求2所述的一种基于强化共性特征的换衣行人重识别方法,其特征在于,步骤S3具体为,将原始上衣掩码图像 和原始图像 通过逐元素相乘进行上衣置黑操作,经过ResNet50骨干网络进行特征提取,得到人体身份增强流特征 。
4.根据权利要求3所述的一种基于强化共性特征的换衣行人重识别方法,其特征在于,步骤S4具体包括:将所述原始图像 、衣服混合流特征 和人体身份增强流特征 输入到共性特征提取模块中,经过1×1卷积层和 激活得到第一注意力图 ,公式表示如下:,
其中, 表示1×1卷积层的卷积运算, 分别表示通道的高度、通道的宽度和通道的数量,同理得到第二注意力图 和第三注意力图 ;将第一注意力图 和原始图像 在空间维度上相乘得到第一共同特征 ,同理,得到第二共同特征 和第三共同特征;第一共同特征 、第二共同特征 以及第三共同特征 经过批量归一化层和1×1卷积层进行处理,分别得到第一类别激活图 、第二类别激活图 和第三类别激活图 ,,其中,表示身份类别的数量;所述第一类别激活图 、第二类别激活图以及第三类别激活图 分别沿通道维度进行平均池化操作,得到第一显著图 、第二显著图 以及第三显著图 , 。
5.根据权利要求4所述的一种基于强化共性特征的换衣行人重识别方法,其特征在于,步骤S5具体包括:所述第一显著图 、第二显著图 以及第三显著图 输入到分类器中,分别得到第一显著图分类结果 、第二显著图分类结果 以及第三显著图分类结果 ,通过公共特征提取损失 对第一显著图分类结果 、第二显著图分类结果 以及第三显著图分类结果 进行约束,使三个显著图分类结果趋于一致,得到检索特征;所述公共特征提取损失 的公式表示如下:,
其中,表示点积运算, 表示取模。
6.根据权利要求5所述的一种基于强化共性特征的换衣行人重识别方法,其特征在于,步骤S6具体包括:除了步骤S4和S5中的公共特征提取损失 ,损失函数还包括步骤S2和S3中的识别损失 、CosFace损失 以及基于衣服的对抗损失 ,CosFace函数公式表示如下:,
其中,表示比例因子, 表示用于调整损耗地比例, 表示用于在目标类上引入间隔来增加类 之间的可分离性的余量,表示输入特征向量与类别权重向量之间的角度, 表示输入特征向量的实际类别标签,表示当前样本的索引,表示类别的索引;识别损失函数公式表示如下:,
其中,表示批量大小,表示样本 通过骨干网络后的特征表示, 表示第 个身份类别的分类权重, 表示样本的身份标签, 表示训练集中身份类别的总数,表示用于缩放log的超参数;基于衣服的对抗损失函数公式表示如下:,
其中, 表示训练集中的服装类别总数, 表示第 个服装类别的分类权重,表示用于调整分类分布的超参数, 和 分别表示属于与样本 相同的身份和与样本 不同的身份的服装类别集, 表示交叉熵损失的权重, 权重定义如下:,
其中, 表示样本 的服装类别标签,表示 中的类的数量, ,当 时,表示权重分布回到所有正类共享相同权重,权重设置为0.5,当 时,对应于与样本 相同的服装的正类权重设置为大于0.5,而正类中的其他服装类别权重设置为小于0.5。
7.根据权利要求6所述的一种基于强化共性特征的换衣行人重识别方法,其特征在于,步骤S6还包括:模型训练共60个Epoch,前25个Epoch为第一步,第25个Epoch之后的所有Epoch为第二步;在第一步中,损失函数定义为:,
其中,min表示求最小值,表示公共特征提取损失的系数;在第二步中,最终总损失定义为:。
8.一种基于强化共性特征的换衣行人重识别系统,执行如权利要求1所述的一种基于强化共性特征的换衣行人重识别方法,其特征在于,包括:数据获取模块:用于获取待检索的行人图像数据集,并在数据集中确定原始图像和与原始图像相同身份标签的图像;
衣服混合与匹配CMM模块:用于将原始图像和与原始图像相同身份标签的图像合成穿着不同服装的同一个人的图像,然后通过经过ResNet50骨干网络,得到衣服混合流特征;
人体身份增强流HIE模块:用于将原始图像进行上衣置黑操作,经过与衣服混合与匹配CMM模块共享参数的ResNet50骨干网络,得到人体身份增强流特征;
共性特征提取CFE模块:用于对原始图像、衣服混合流特征以及人体身份增强流特征进行特征提取,得到第一显著图、第二显著图以及第三显著图;
分类单元:用于将第一显著图、第二显著图以及第三显著图进行分类,得到分类结果;
训练模块:用于通过损失函数对步骤S2‑S5过程进行迭代优化,得到训练好的ResNet50模型;
检索特征单元:用于将待检测图像输入到训练好的模型中,得到待检测图像的检索特征;
行人重识别单元:用于将所述检索特征与检索库中的行人图像特征进行相似度匹配,按照相似性得分由高到低的顺序对行人图像进行排序,并将排序结果输出得到行人重识别结果。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1‑7中任一项所述的一种基于强化共性特征的换衣行人重识别方法中的步骤。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1‑7中任一项所述的一种基于强化共性特征的换衣行人重识别方法中的步骤。