利索能及
我要发布
收藏
专利号: 2024102523708
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于换衣数据和残差网络的换衣行人重识别方法,其特征是:包括以下步骤:S1.获取待查询的行人图像,行人图像通过不重叠的摄像头拍摄获取,将获取待查询的行人图像分别合成行人图像的数据集和查询库;

S2.创建换衣行人重识别模型,然后将数据集中待查询的行人图像输入到换衣行人重识别模型来提取查询特征;

S2具体如下:

通过训练行人图像的数据集、多样性换衣行人图像、边缘轮廓草图、屏蔽衣服图像和轮廓草图贴图图像创建换衣行人重识别模型,具体创建过程如下:S2.1.通过语义分割模型将待查询的行人图像进行分割,并对图像中各个语义区域进行标注得到语义分割图;再通过边缘检测模型对待查询的行人图像进行边缘检测,获得与待查询的行人图像对应的边缘轮廓草图;

S2.2.通过标注后的语义分割图得到对应行人图像的上衣和下衣局部区域的掩码图像,构建服装仓库,得到多样性换衣行人图像;通过语义分割图和待查询的行人图像得到屏蔽衣服图像;通过边缘轮廓草图和语义分割图得到轮廓草图贴图图像;

S2.3.通过骨干网络由待查询的行人图像得到原始特征;通过多样性换衣数据增强策略由多样性换衣行人图像得到换装特征;通过形体信息引导模块由边缘轮廓草图获取形体特征,然后通过形体特征与原始特征构建形体引导原始特征;通过轮廓草图贴图模块由轮廓草图贴图图像得到轮廓衣物贴图特征;通过多尺度权重分块模块由屏蔽衣服图像得到多尺度加权特征;

S2.3中具体操作如下:

(1)采用在ImageNet网络上进行了预训练的ResNet50残差网络作为骨干网络,将待查询的行人图像输入至骨干网络得到原始特征;

(2)从同一批次的服装仓库中随机选取同身份的服装,随机替换到新场景下同身份的行人图像上,得到多样性的换衣行人图像数据,然后将多样性换衣行人图像输入到骨干网络,得到换装特征;

(3)通过边缘轮廓草图进行投影得到轮廓掩码,将轮廓掩码与骨干网络的中间layer2层的输出特征进行结合,得到经过轮廓引导增强了的形体语义信息的中间层特征,再将中间层特征继续输入与骨干网络相同但参数独立的ResNet50残差网络的后续layer3、layer4卷积层进行特征提取,得到形体特征F's,将形体特征与原始特征进行结合得到形体引导原始特征Fs_o;

轮廓掩码通过下列公式获得:

Ms=MaxPool_ad(Relu(BN(Conv*xske))),其中,Ms表示轮廓掩码,MaxPool_ad表示自适应最大池化操作,Relu表示激活函数,BN表示批次归一化,Conv表示1×1的卷积滤波器,xske表示轮廓草图,*表示卷积操作;

轮廓掩码与骨干网络的中间layer2层的输出特征 的结合为:

其中,Fs表示经过轮廓引导增强了的形体语义信息的中间层特征, 表示哈达玛矩阵乘积;

(4)将轮廓草图贴图图像输入与骨干网络共享参数的ResNet50残差网络提取轮廓衣物贴图特征;

(5)通过与骨干网络共享参数的ResNet50残差网络的layer0、layer1、layer2层得到屏蔽衣服图像的中间层特征F'm,将中间层特征F'm经过下采样、多尺度卷积、池化、上采样操作得到具有多尺度信息的中间层特征F”m;将具有多尺度信息的中间层特征F”m按水平方向进行平均分块,通过与骨干网络参数独立的ResNet50残差网络的后续layer3、layer4卷积层进行特征编码得到部分特征 和 部分特征通过加权因子α进行加权操作,得到加权后的部分特征,将加权后的部分特征按水平方向拼接获取多尺度加权特征表示;

具有多尺度信息的中间层特征F”m的获取如下:

其中,

多尺度加权特征FM的获取如下:

其中,downsample和upsample分别表示下采样和上采样操作,Convn×n表示n×n的卷积滤波器,*表示卷积操作, 表示拼接操作,F'm表示中间层特征,α表示权重因子, 表示经过1×1卷积操作后得到的特征, 表示经过3×3卷积操作后得到的特征,表示经过5×5卷积操作后得到的特征, 表示经过最大池化操作后得到的特征,MaxPool表示最大池化操作, 表示经过水平分块编码后的上半部分特征,p1表示分块编号;

S2.4.通过损失函数对原始特征、换装特征、形体特征、形体引导原始特征、轮廓衣物贴图特征和多尺度加权特征进行共同约束训练,最后得到换衣数据和残差网络的换衣行人重识别模型;

S3.将查询特征与查询库中的行人图像特征进行相似度对比,并按照相似程度由高到低对查询结果进行排序,然后输出排序结果,将其作为查询图像重识别的结果。

2.根据权利要求1所述的基于换衣数据和残差网络的换衣行人重识别方法,其特征是:S2.2中服装仓库、多样性换衣行人图像、轮廓草图贴图图像和屏蔽衣服图像的具体获取方法如下:服装仓库的获取:通过语义分割图定位上衣和下衣局部区域,执行二值化对局部区域进行区分处理,将定位服装区域设为1,将未定位服装区域设为0,得到上衣和下衣区域掩码图像,再通过上衣和下衣区域掩码图像从待查询的行人图像上分离上衣与下衣区域,然后对上衣和下衣区域进行放大、变化、剪裁、随机排列,最终得到构建好的服装仓库;

多样性换衣行人图像的获取:通过对服装仓库中同批次内属于相同身份的衣服进行随机的同身份下换衣操作得到多样性换衣行人图像;

轮廓草图贴图图像的获取:

将标注的语义分割图进行二值化处理,然后通过与待查询的行人图像进行矩阵乘法运算得到行人图像中非衣服区域的各个局部部件,再将得到的各个局部部件替换到对应的边缘轮廓草图的非衣服区域上,得到分割缺陷的局部,最终用边缘轮廓草图补齐分割缺陷的局部得到轮廓草图贴图图像;

屏蔽衣服图像的获取:通过语义分割图定位待查询的行人图像中的衣服区域,将待查询的行人图像中的衣服区域设置为0,来进行遮蔽处理,最终得到屏蔽衣服图像。

3.根据权利要求2所述的基于换衣数据和残差网络的换衣行人重识别方法,其特征是,S2.4中具体操作如下:损失函数 计算如下:

其中, 表示用于约束特征表示的分类损失, 表示多尺度加权特征同形体引导原始特征进行知识传递的蒸馏损失, 表示感知所述换装特征Fc和形体引导原始特征Fs_o、原始特征Fo和轮廓衣物贴图特征Fs_p之间的高层语义差异的语义一致性约束损失;

蒸馏损失公式为:

其中, 表示KL散度, 表示多尺度加权特征的输出类概率, 表示形体

引导原始特征的输出类概率;

语义一致性约束损失公式为:

其中,||·||2表示L2范式,μ(·)表示计算均值函数,σ(·)表示计算方差函数。

4.基于换衣数据和残差网络的换衣行人重识别系统,其特征是,执行如权利要求1‑3中任一项所述的基于换衣数据和残差网络的换衣行人重识别方法,包括以下单元:数据获取预处理单元:通过不重叠的摄像头拍摄获取待查询的行人图像,然后将获取待查询的行人图像分别合成行人图像的数据集和查询库;

特征提取单元:创建换衣行人重识别模型,然后将数据集中待查询的行人图像输入到换衣行人重识别模型来提取查询特征;

模型创建单元:通过语义分割模型和边缘检测模型对行人图像进行处理,通过对行人图像的数据集和多样性换衣行人图像、边缘轮廓草图、屏蔽图像以及轮廓草图贴图图像进行训练获得换衣行人重识别模型;

结果识别单元:将查询特征与查询库中的行人图像特征进行相似度对比,并按照相似程度由高到低对查询结果进行排序,然后输出排序结果,将其作为查询图像重识别的结果。