利索能及
我要发布
收藏
专利号: 2022107429347
申请人: 山东省人工智能研究院
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多模态智能感知和融合的换衣行人重识别和检索方法,其特征在于,包括:获取待识别的行人图像,并根据所述行人图像获取相对应的人体解析图和点云数据;

其中,所述点云数据包括三维坐标信息以及RGB像素信息;

将原始的行人图像、人体解析图和点云数据输入预训练的换衣行人重识别模型;

对所述原始的行人图像分别进行上衣采样和裤子采样,获取上衣像素和裤子像素,根据所述人体解析图的像素信息改变所获取的上衣像素和裤子像素以获取换衣后的行人图像;

对所述换衣后的行人图像和原始的行人图像以及所述点云数据分别进行特征提取,并将所提取的特征进行融合获得行人的身份特征;

对所述行人的身份特征进行分类识别,确定所述待识别的行人的身份;

根据所述人体解析图的像素信息改变所获取的上衣像素和裤子像素以获取换衣后的行人图像的方法,包括:利用人体解析图获取上衣像素集合和上衣的所有向量表示,其中,人体解析图是通过预训练的人体解析模型获取的,其语义结果描述为 ;其中,Si的形状为1*H*W;对原始的行人图像 进行随机处理获取 ,假设X的所有向量像素表示为 ;其中, 表示上衣部

分的像素,M表示总的像素值,且,M = B·H·W;对所述随机处理的原始的行人图像进行语义分割并获取语义分割结果 ;根据所获取的语义分割结果获得上衣的像素向量,进而根据所述上衣的像素向量获取上衣像素集合;

利用所述上衣像素集合改变所述上衣的所有向量表示;

根据人体解析图获取裤子像素集合和裤子的所有向量表示,并利用所述裤子像素集合改变所述裤子的所有向量表示;

通过改变后的上衣的所有向量表示和改变后的裤子的所有向量表示,获取换衣后的行人图像。

2.如权利要求1所述的基于多模态智能感知和融合的换衣行人重识别和检索方法,其特征在于,对所述换衣后的行人图像和原始的行人图像以及所述点云数据分别进行特征提取,并将所提取的特征进行融合获得行人的身份特征的方法,包括:对所述换衣后的行人图像和原始的行人图像进行特征提取获取2D特征图,对所述点云数据进行特征提取获取3D特征图;

将所述2D特征图和所述3D特征图分别输入注意力机制网络,并获取第三2D特征图和第三3D特征图;其中,根据所述2D特征图通过通道注意力模块获取第一2D特征图;将2D特征图和第一2D特征图按通道相乘,通过空间注意力模块获取第二2D特征图;将2D特征图和第二

2D特征图相乘获得第三2D特征图;另,通过通道注意力模块获取第一3D特征图;将3D特征图和第一3D特征图按通道相乘,通过空间注意力模块获取第二3D特征图;将3D特征图和第二

3D特征图相乘获得第三3D特征图;

将所获取的第三2D特征图和第三3D特征图相加,获得行人的身份特征。

3.如权利要求2所述的基于多模态智能感知和融合的换衣行人重识别和检索方法,其特征在于,对所述换衣后的行人图像和原始的行人图像进行特征提取通过ResNet‑50神经网络实现;

对所述点云数据进行特征提取通过图卷积网络实现。

4.如权利要求2中所述的基于多模态智能感知和融合的换衣行人重识别和检索方法,其特征在于,根据所述2D特征图通过通道注意力模块获取第一2D特征图的方法,包括:对所述2D特征图分别经过最大池化和平均池化,形成两个权重向量;

将所述两个权重向量经过权重共享,映射成每个通道的权重;

将映射后的权重相加,并进行归一化处理,确定通道权重;

根据所述通道权重和所述2D特征图,获取第一2D特征图。

5.如权利要求1中所述的基于多模态智能感知和融合的换衣行人重识别和检索方法,其特征在于,所述换衣行人重识别模型利用损失函数进行训练约束,所述损失函数通过以下公式实现:L=Lmse+Li+Lt

其中,所述Lmse表示均方误差损失,Li表示交叉熵损失,Lt表示三元组损失。

6.如权利要求5中所述的基于多模态智能感知和融合的换衣行人重识别和检索方法,其特征在于,所述均方误差损失函数通过以下公式实现:其中, 表示L2范数,fi表示X的第i个特征,fi'表示换衣后的特征。

7.一种基于多模态智能感知和融合的换衣行人重识别和检索系统,其特征在于,包括:数据获取单元,用于获取待识别的行人图像,并根据所述行人图像获取相对应的人体解析图和点云数据;其中,所述点云数据包括三维坐标信息以及RGB像素信息;

特征提取单元,用于将原始的行人图像、人体解析图和点云数据输入预训练的换衣行人重识别模型;对所述原始的行人图像分别进行上衣采样和裤子采样,获取上衣像素和裤子像素,根据所述人体解析图的像素信息改变所获取的上衣像素和裤子像素以获取换衣后的行人图像;对所述换衣后的行人图像和原始的行人图像以及所述点云数据分别进行特征提取,并将所提取的特征进行融合获得行人的身份特征;

身份识别单元,用于对所述行人的身份特征进行分类识别,确定所述待识别的行人的身份;

根据所述人体解析图的像素信息改变所获取的上衣像素和裤子像素以获取换衣后的行人图像的方法,包括:利用人体解析图获取上衣像素集合和上衣的所有向量表示,其中,人体解析图是通过预训练的人体解析模型获取的,其语义结果描述为 ;其中,Si的形状为1*H*W;对原始的行人图像 进行随机处理获取 ,假设X的所有向量像素表示为 ;其中, 表示上衣部

分的像素,M表示总的像素值,且,M = B·H·W;对所述随机处理的原始的行人图像进行语义分割并获取语义分割结果 ;根据所获取的语义分割结果获得上衣的像素向量,进而根据所述上衣的像素向量获取上衣像素集合;

利用所述上衣像素集合改变所述上衣的所有向量表示;

根据人体解析图获取裤子像素集合和裤子的所有向量表示,并利用所述裤子像素集合改变所述裤子的所有向量表示;

通过改变后的上衣的所有向量表示和改变后的裤子的所有向量表示,获取换衣后的行人图像。

8.一种电子设备,其特征在于,所述电子设备包括:

至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至6中任一所述的基于多模态智能感知和融合的换衣行人重识别和检索方法中的步骤。

9.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一所述的基于多模态智能感知和融合的换衣行人重识别和检索方法。