利索能及
我要发布
收藏
专利号: 2024103685470
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于空间一致性的换衣行人重识方法,其特征在于,包括:

获取待识别行人的原始行人图像;

基于所述待识别行人的原始行人图像,获得所述待识别行人在同一场景、同一姿态下不同衣服的行人图像;

将所述原始行人图像以及所述待识别行人在同一场景、同一姿态下不同衣服的行人图像输入预设的换衣行人重识别模型,确定所述待识别行人的检索特征向量;

将所述检索特征向量与检索库中的行人图像特征进行相似度匹配,并按照相似性得分按照由高到低的顺序对所述行人图像特征进行排序;

按照预设规则,将设定顺序的行人图像特征对应的行人图像作为换衣行人重识的输出结果;

其中基于所述待识别行人的原始图像,获得所述待识别行人在同一场景、同一姿态下不同衣服的行人图像的方法,包括:基于所述待识别行人的原始图像获取待识别行人的衣服区域掩码图像和人体骨骼关键点坐标;其中,所述衣服区域掩码图像的获取方法包括,通过预设的人体语义解析模型对所述待识别行人的原始图像进行人体部位的语义信息标注,获得待识别行人的人体语义分割图;利用所述人体语义分割图的衣服标签信息定位所述原始图像中衣服区域的位置,并利用二值化区分衣服区域和除衣服外的区域,获得衣服区域掩码图像;

获取待识别行人的与原始图像中衣服不同的行人图像,通过人体骨骼关键点坐标定位与原始图像中衣服不同的行人图像的衣服区域,生成透视变换矩阵;

利用所述透视变换矩阵和所述衣服区域掩码图像,获得所述待识别行人在同一场景、同一姿态下不同衣服的行人图像。

2.如权利要求1所述的基于空间一致性的换衣行人重识方法,其特征在于,所述换衣行人重识别模型的训练方法,包括,在行人图像数据集中获取待处理的原始行人图像以及对应的图像标签;其中,所述图像标签包括衣服标签、身份标签和相机视角标签;

获取待处理行人的衣服区域掩码图像和人体骨骼关键点坐标;其中,获取待处理行人的衣服区域掩码图像的方法,包括,获取与待处理的原始行人图像身份标签相同的另一张行人图像,通过预设的人体语义解析模型对所述待识别行人的原始图像进行人体部位的语义信息标注获得待处理行人的人体语义分割图;基于所述人体语义分割图获取衣服区域掩码图像;

基于人体骨骼关键点坐标获取透视变换对应的坐标以及人体视角的坐标;利用所述透视变换对应的坐标以及人体视角的坐标和所述衣服区域掩码图像使得相同身份标签的两张原始行人图像中的衣服互换,生成新的行人图像;并基于所述人体视角的坐标获取新的行人图像对应的视角标签;

基于原始行人图像和对应的图像标签,以及所述新的行人图像和对应的视角标签,通过特征提取网络获得原始特征表示;利用基于衣服、视角的对抗损失对原始的行人图像挖掘与衣服和视角无关的特征;

基于所述原始的特征表示和与衣服和视角无关的特征对换衣行人重识别模型进行训练,并通过惩罚机制使得所述换衣行人重识别模型更加关注与衣服和视角无关的特征。

3.如权利要求2所述的基于空间一致性的换衣行人重识方法,其特征在于,所述换衣行人重识别模型对应的损失函数由第一阶段损失函数和第二阶段损失函数组成;

所述第一阶段损失函数用于通过最小化衣服分类损失和衣服标签以优化衣服分类器;

以及,通过最小化视角分类损失和视角标签以优化视角分类器;

所述第二阶段损失函数融入惩罚机制,对衣服和视角相关的特征进行惩罚,惩罚程度与衣服分类器和视角分类器的分类效率呈正相关。

4.如权利要求3中所述的基于空间一致性的换衣行人重识方法,其特征在于,所述换衣行人重识别模型训练还包括,服务端为筛选出的各个特征各自分配一个初始值,在联邦学习训练过程中,将扣除完毕的初始值对应的特征从联邦学习中剔除,以保证训练效率。

5.如权利要求4中所述的基于空间一致性的换衣行人重识方法,其特征在于,基于所述人体视角的坐标获取新的行人图像对应的视角标签的方法,包括,基于人体骨骼关键点坐标分别获得原始行人图像中鼻子、左眼、右眼、左耳、右耳、左脚和右脚区域的坐标点;

根据所述鼻子、左眼、右眼、左耳、右耳的坐标点的平均值确定身体的中心点;再根据左脚、右脚的坐标点差值确定脚之间的向量;

根据所述身体的中心点和所述脚之间的向量,获得转换后的向量;

利用函数计算所述转换后的向量和中心点的弧度角度;

根据所述弧度角度确定视角标签。

6.一种基于空间一致性的换衣行人重识系统,执行如权利要求1至5中任一所述的基于空间一致性的换衣行人重识方法,其特征在于,包括:获取单元,用于获取待识别行人的原始行人图像;

检索特征确定单元,用于基于所述待识别行人的原始行人图像,获得所述待识别行人在同一场景、同一姿态下不同衣服的行人图像;将所述原始行人图像以及所述待识别行人在同一场景、同一姿态下不同衣服的行人图像输入预设的换衣行人重识别模型,确定所述待识别行人的检索特征向量;

识别单元,用于将所述检索特征向量与检索库中的行人图像特征进行相似度匹配,并按照相似性得分按照由高到低的顺序对所述行人图像特征进行排序;按照预设规则,将设定顺序的行人图像特征对应的行人图像作为换衣行人重识的输出结果。

7.一种电子设备,其特征在于,所述电子设备包括:

至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至5中任一所述的基于空间一致性的换衣行人重识方法中的步骤。

8.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任一所述的基于空间一致性的换衣行人重识方法。