利索能及
我要发布
收藏
专利号: 2022106706395
申请人: 山东省人工智能研究院
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于语义感知注意力和视觉屏蔽的换衣行人重识别方法,其特征在于,包括:获取待处理的行人图像;

利用预训练的语义分割模型对所述待处理的行人图像进行处理,获取各个语义区域对应的语义分割图像;

将各个语义区域对应的语义分割图像输入预训练的换衣行人重识别模型,进行人体所在的前景区域定位并获取前景信息;其中,所述换衣行人重识别模型利用行人图像数据集和预获取的视觉屏蔽图进行训练获得;所述换衣行人重识别模型利用行人图像数据集和预获取的视觉屏蔽图进行训练获得的方法包括,利用预训练的语义分割模型对行人图像数据集的行人图像进行处理,获取各个语义区域对应的语义分割图像;对各个语义区域对应的语义分割图像分别进行人体所在的前景区域和衣服所在区域的定位,并分别获取前景信息和视觉屏蔽信息;通过人体语义注意力网络,根据所述前景信息获取前景增强的特征表示;

通过衣物视觉外观屏蔽网络,根据预获取的视觉屏蔽图和各个语义区域对应的语义分割图像获取原始特征和视觉屏蔽特征表示;利用损失函数对所述前景增强的特征表示、原始特征和视觉屏蔽特征表示进行训练约束;获取训练好的换衣行人重识别模型;

通过人体语义注意力网络,根据所述前景信息获取前景增强的特征表示;并根据所述前景增强的特征表示获取待检索图像;

将所述待检索图像与检索库中的各个行人图像进行逐一匹配并获取相似性;

按照相似性从高到低的顺序对所述检索库中各个行人图像进行排列,并将相似性最高的行人图像作为待处理的行人图像对应的识别结果。

2.如权利要求1所述的基于语义感知注意力和视觉屏蔽的换衣行人重识别方法,其特征在于,所述视觉屏蔽图的预获取方法包括,利用预训练的语义分割模型对行人图像数据集的行人图像进行处理,获取各个语义区域对应的语义分割图像;

对各个语义区域对应的语义分割图像进行衣服所在区域的定位并获取视觉屏蔽信息;

利用所述视觉屏蔽信息对已屏蔽的衣服区域进行重新渲染,获取视觉屏蔽图。

3.如权利要求1所述的基于语义感知注意力和视觉屏蔽的换衣行人重识别方法,其特征在于,对各个语义区域对应的语义分割图像进行人体所在的前景区域的定位,并获取前景信息的方法,包括,将各个语义区域对应的语义分割图像进行二值化处理,获得各个语义区域对应的二值化后的语义分割图像;其中,将所述语义分割图像中所有包含人体部件的部分置为1,剩余背景部分置为0;

将原始行人图像与各个语义区域对应的二值化后的语义分割图像做乘运算,获取只保留身体区域的图像矩阵;

将所述只保留身体区域的图像矩阵作为前景信息。

4.如权利要求1中所述的基于语义感知注意力和视觉屏蔽的换衣行人重识别方法,其特征在于,通过人体语义注意力网络,根据所述前景信息获取前景增强的特征表示的方法,包括,对所述前景信息进行基础特征提取,获取特征图;

通过加权特征向量对所述特征图的通道特征进行重新赋权重,并通过全局池化操作,获取前景增强的特征表示;其中,所述加权特征向量通过以下公式获取:其中,FA表示特征图;FGAP表示全局平均池化的操作,FC1和FC2分别表示两个全连接层的权重矩阵。

5.如权利要求1中所述的基于语义感知注意力和视觉屏蔽的换衣行人重识别方法,其特征在于,所述损失函数通过以下公式实现:其中,Lid为用于约束所述前景增强的特征表示的分类损失、L2为用于衡量样本对之间距离的度量损失;L3为用于约束所述原始特征和视觉屏蔽特征表示的语义损失。

6.如权利要求5中所述的基于语义感知注意力和视觉屏蔽的换衣行人重识别方法,其特征在于,所述语义损失通过以下公式实现:其中,b表示训练批次的大小,||*||2代表L2范化, 和 表示衣物视觉外观屏蔽网络的输出;其中 来自行人图像数据集, 来自视觉屏蔽图。

7.一种基于语义感知注意力和视觉屏蔽的换衣行人重识别系统,其特征在于,包括:语义分割单元,用于获取待处理的行人图像;利用预训练的语义分割模型对所述待处理的行人图像进行处理,获取各个语义区域对应的语义分割图像;

前景增强获取单元,用于将各个语义区域对应的语义分割图像输入预训练的换衣行人重识别模型,进行人体所在的前景区域定位并获取前景信息;其中,所述换衣行人重识别模型利用行人图像数据集和预获取的视觉屏蔽图进行训练获得;通过人体语义注意力网络,根据所述前景信息获取前景增强的特征表示;并根据所述前景增强的特征表示获取待检索图像;所述换衣行人重识别模型利用行人图像数据集和预获取的视觉屏蔽图进行训练获得的方法包括,利用预训练的语义分割模型对行人图像数据集的行人图像进行处理,获取各个语义区域对应的语义分割图像;对各个语义区域对应的语义分割图像分别进行人体所在的前景区域和衣服所在区域的定位,并分别获取前景信息和视觉屏蔽信息;通过人体语义注意力网络,根据所述前景信息获取前景增强的特征表示;通过衣物视觉外观屏蔽网络,根据预获取的视觉屏蔽图和各个语义区域对应的语义分割图像获取原始特征和视觉屏蔽特征表示;利用损失函数对所述前景增强的特征表示、原始特征和视觉屏蔽特征表示进行训练约束;获取训练好的换衣行人重识别模型;

结果识别单元将所述待检索图像与检索库中的各个行人图像进行逐一匹配并获取相似性;按照相似性从高到低的顺序对所述检索库中各个行人图像进行排列,并将相似性最高的行人图像作为待处理的行人图像对应的识别结果。

8.一种电子设备,其特征在于,所述电子设备包括:

至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至6中任一所述的基于语义感知注意力和视觉屏蔽的换衣行人重识别方法中的步骤。

9.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一所述的基于语义感知注意力和视觉屏蔽的换衣行人重识别方法。