利索能及
我要发布
收藏
专利号: 202310401773X
申请人: 山东省人工智能研究院
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于身份引导的联合学习换衣行人重识别方法,其特征在于,包括以下步骤:

S110.获取待检索的行人图像;

S120.将所述待检索的行人图像输入预训练的换衣行人重识别模型,提取与衣服不相关的身份鲁棒特征作为检索特征,其中,所述换衣行人重识别模型利用行人图像数据集和预获取的衣服区域掩码图像、行人前景图像、上部衣服遮蔽图像进行训练获得,所述换衣行人重识别模型通过衣服注意力退化网络指导模型自适应地削弱衣服信息带来的干扰,利用人体语义注意力与拼图模块突出人体语义信息,使用行人身份增强模块引导模型提取更有利的身份鲁棒表征;

S130.将所述检索特征与检索库中的行人图像特征进行相似度匹配,按照相似性得分由高到低的顺序对检索结果进行排序,并将排序结果输出作为重识别结果;换衣行人重识别模型训练的方法具体包括如下步骤:S1201.从行人图像数据集中获取待处理的原始行人图像;通过预训练的人体语义解析模型对原始行人图像进行人体各部件的语义信息标注,得到对应的人体语义分割图;

S1202.利用所述人体语义分割图获取衣服区域掩码图像;利用所述人体语义分割图与所述原始行人图像获取行人前景图像;利用所述人体语义分割图与行人前景图像获取上部衣服遮蔽图像;

S1203.通过衣服注意力退化网络,根据所述原始行人图像与衣服区域掩码图像获取退化特征表示;通过骨干网络,根据所述原始行人图像获取原始特征表示;通过人体语义注意力与拼图模块,根据所述行人前景图像获取人体语义特征表示;通过行人身份增强模块,根据所述上部衣服遮蔽图像获取身份增强特征表示;

S1204.利用损失函数对所述退化特征表示、原始特征表示、人体语义特征表示、身份增强特征表示进行联合训练约束;

S1205.获取训练好的换衣行人重识别模型;

通过骨干网络,根据所述原始行人图像获取原始特征表示的方法;通过人体语义注意力与拼图模块,根据所述行人前景图像获取人体语义特征表示的方法;通过行人身份增强模块,根据所述上部衣服遮蔽图像获取身份增强特征表示的方法;具体如下,包括:采用在ImageNet上预训练的Vision Transformer简称ViT作为骨干网络,将原始行人图像输入ViT获取原始特征表示;对同一批次的训练数据中具有相同身份的行人前景图像随机洗牌进行同身份内拼图,获取新的行人前景图像;将所述新的行人前景图像输入与骨干网络共享权重参数的ViT模型,获取人体语义特征表示;通过预训练的空间变换网络的定位层对上部衣服遮蔽图像的头颈肩区域进行定位并获取局部鲁棒图像;将所述局部鲁棒图像输入ViT模型获取身份增强特征表示。

2.根据权利要求1所述的基于身份引导的联合学习换衣行人重识别方法,其特征在于:

所述衣服区域掩码图像、行人前景图像、上部衣服遮蔽图像的预获取方法,包括:

从行人图像数据集中获取待处理的原始行人图像;

通过预训练的人体语义解析模型对原始行人图像进行人体各部件的语义信息标注,得到对应的人体语义分割图;

获取衣服区域掩码图像:利用人体语义分割图的衣服标签信息定位行人图像中衣服区域的局部位置;通过执行二值化处理对衣服区域和其他区域进行区分,其中,将所述人体语义分割图中属于衣服区域的像素部分设置为1,其他部分像素设置为0;得到衣服区域掩码图像;

获取行人前景图像:将人体语义分割图进行二值化处理用于定位人体所在前景区域;

其中人体语义分割图的背景部分设置为0,其余所有包含人体部件以及配饰的部分设置为

1;将行人图像与二值化后的人体语义分割图像进行矩阵乘法运算,获取除背景之外的所有信息都作为前景信息保留的行人前景图像;

获取上部衣服遮蔽图像:通过人体语义分割图定位行人前景图像中的上身衣服区域,将行人前景图像中的上身衣服区域设置为1进行遮蔽处理,得到上部衣服遮蔽图像。

3.根据权利要求1所述的基于身份引导的联合学习换衣行人重识别方法,其特征在于,S1203具体包括如下步骤:利用所述衣服区域掩码图像对相应的原始行人图像的衣服区域进行定位,对所有属于衣服区域的像素进行降低权值的操作获取三个不同尺度的衣服弱化特征图;

将原始行人图像输入ResNet50网络,在不同的阶段输出三个不同尺度的中间特征图,通过卷积操作在不同的阶段获取空间注意力特征图,通过所述衣服弱化特征图对空间注意力特征图进行一致性约束学习,对不同阶段的空间注意力特征图与中间特征图进行空间注意力加权得到新的衣服区域削弱的中间特征图,将最后一个阶段的衣服区域削弱的中间特征图通过池化操作获取退化特征表示;

其中,所述空间注意力特征图通过公式Fi=Conv2*(Conv1*Φi)获取;所述空间注意力加权通过公式 进行;其中Φi表示第i个阶段的中间特征图,Conv1和Conv2表示两个1×1的卷积滤波器,*表示卷积操作,Fi表示第i个阶段的空间注意力特征图, 表示哈达玛矩阵乘积。

4.根据权利要求3所述的基于身份引导的联合学习换衣行人重识别方法,其特征在于,通过所述衣服弱化特征图对空间注意力特征图进行一致性约束学习的方法如下,包括:利用多尺度的衣服弱化特征图对相应尺度的空间注意力特征图进行衣服区域弱化引导,通过语义损失函数 实现,其中,k表示不同尺度特征图的数量,Fk和 表示第k个尺度的空间注意力特征图和衣服弱化特征图,H和W表示特征图的高和宽。

5.根据权利要求1所述的基于身份引导的联合学习换衣行人重识别方法,其特征在于,所述损失函数通过以下公式实现: 其中, 为用于约束特征表示的分类损失; 为衡量样本对之间距离的三元组度量损失; 为多尺度的衣服弱化特征图对相应尺度的空间注意力特征图进行衣服区域弱化引导的语义损失; 为用于测量所述退化特征表示、原始特征表示、人体语义特征表示之间的高层语义差异的语义一致性约束损失,所述高层语义差异的语义一致性约束损失通过以下公式实现:

其中,μ(·)为计算均值函数;σ(·)为计算方差函数;Fd来自衣服注意力退化网络,Fo来自骨干网络,Fe来自人体语义注意力与拼图模块;||·||2表示L2范式。

6.一种基于身份引导的联合学习换衣行人重识别系统,其特征在于,包括:

数据获取单元,获取待检索的行人图像,其中该检索图像与检索库中的行人图像由不同的摄像头拍摄所得;

特征提取单元,将所述待检索的行人图像输入预训练的换衣行人重识别模型,提取与衣服不相关的身份鲁棒特征作为检索特征;其中,所述换衣行人重识别模型利用行人图像数据集和预获取的衣服区域掩码图像、行人前景图像、上部衣服遮蔽图像进行训练获得;所述换衣行人重识别模型通过衣服注意力退化网络指导模型自适应地削弱衣服信息带来的干扰,利用人体语义注意力与拼图模块突出人体语义信息,使用行人身份增强模块引导模型提取更有利的身份鲁棒表征;

结果识别单元,将所述检索特征与检索库中的行人图像特征进行相似度匹配,按照相似性得分由高到低的顺序对检索结果进行排序,并将排序结果输出作为重识别结果;

换衣行人重识别模型训练的方法具体包括如下步骤:

S1201.从行人图像数据集中获取待处理的原始行人图像;通过预训练的人体语义解析模型对原始行人图像进行人体各部件的语义信息标注,得到对应的人体语义分割图;

S1202.利用所述人体语义分割图获取衣服区域掩码图像;利用所述人体语义分割图与所述原始行人图像获取行人前景图像;利用所述人体语义分割图与行人前景图像获取上部衣服遮蔽图像;

S1203.通过衣服注意力退化网络,根据所述原始行人图像与衣服区域掩码图像获取退化特征表示;通过骨干网络,根据所述原始行人图像获取原始特征表示;通过人体语义注意力与拼图模块,根据所述行人前景图像获取人体语义特征表示;通过行人身份增强模块,根据所述上部衣服遮蔽图像获取身份增强特征表示;

S1204.利用损失函数对所述退化特征表示、原始特征表示、人体语义特征表示、身份增强特征表示进行联合训练约束;

S1205.获取训练好的换衣行人重识别模型;

通过骨干网络,根据所述原始行人图像获取原始特征表示的方法;通过人体语义注意力与拼图模块,根据所述行人前景图像获取人体语义特征表示的方法;通过行人身份增强模块,根据所述上部衣服遮蔽图像获取身份增强特征表示的方法;具体如下,包括:采用在ImageNet上预训练的Vision Transformer简称ViT作为骨干网络,将原始行人图像输入ViT获取原始特征表示;对同一批次的训练数据中具有相同身份的行人前景图像随机洗牌进行同身份内拼图,获取新的行人前景图像;将所述新的行人前景图像输入与骨干网络共享权重参数的ViT模型,获取人体语义特征表示;通过预训练的空间变换网络的定位层对上部衣服遮蔽图像的头颈肩区域进行定位并获取局部鲁棒图像;将所述局部鲁棒图像输入ViT模型获取身份增强特征表示。