利索能及
我要发布
收藏
专利号: 2021106726892
申请人: 武汉科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于3D人体部件的行人重识别方法,其特征在于,包括如下步骤:S1、通过DensePose模型提取出训练数据集中每个行人的所有图片对应的24语义的部件;

S2、将每个行人的某一语义中所有提取出的部件求取平均部件得到代表性部件,并通过多时空碎片协同构建部件图;

S3、将原始行人图片和信息完备的部件图作为双流残差U型网络的生成目标,分别提取出全局特征和局部特征,并将全局特征与局部特征融合后用于行人重识别;

步骤S3中,所述双流残差U型网络的结构至少包括:主干编码网络,其用于学习得到全局特征和局部特征;

局部解码网络,连接于主干编码网络的输出端,用于将主干编码网络学习到的局部特征解码为部件图;

全局解码网络,连接于主干编码网络的输出端,用于将主干编码网络学习到的全局特征解码为原始行人图片;

主干编码网络中,采用残差50网络的子模块作为主干编码网络,并引入两个结构相同的卷积桥接模块,分别标记为全局卷积桥接模块Bg和局部卷积桥接模块Bl,将两个1024通道的特征图扩展为2048通道;

全局特征表示为 通过公式(2)计算:

同理,局部特征表示为 通过公式(3)计算:

上式中,p为输入的行人图片,M为主干编码网络,AP为平均池化;

最后,特征F=lf+gf用于行人重识别的特征表示。

2.根据权利要求1所述的方法,其特征在于,步骤S1中,每个行人的所有图片对应的24语义的部件为:行人的后背、前胸、左手、右手、左脚、右脚、后左大腿、后右大腿、前左大腿、前右大腿、后左小腿、后右小腿、前左小腿、前右小腿、后左大臂、后右大臂、前左大臂、前右大臂、后左小臂、后右小臂、前左小臂、前右小臂、左大脑、右大脑。

3.根据权利要求1所述的方法,其特征在于,步骤S2具体包括如下:对同一行人的不同部件进行信息量的统计,对于同一行人的同一部件,将得到的所有该部件的图片求取平均部件得到代表性部件,以协同构建部件图,通过公式(1)表示:上式中,label表示训练集中行人的身份标签,dp表示使用DensePose模型生成24个部label件,其中每个部件的背景用输入的整张图片像素的平均值进行填充,index 表示标签为label的图片编号,pixs表示统计部件中的前景像素点个数,avg表示对所有输入的部件图片求取平均部件以得到多时空碎片协同的代表部件;

最后,按序将所有得到的24个代表部件填充到图片空间,从而得到了多时空碎片协同的密集语义对齐部件图。

4.根据权利要求3所述的方法,其特征在于,每个部件的图片大小为32×32,所述的图片空间大小为128×192。

5.根据权利要求1所述的方法,其特征在于,局部解码网络重建部件图的步骤具体包括:将从主干编码网络不同层提取的特征图与局部解码网络对应的上采样块输出特征进行拼接操作;

在部件图重建之前,引入局部大小适应模块LDA;

定义主干编码网络的各层特征为dfi,i∈0,1,...,5,局部密集语义对齐部件解码子网各层特征声明为密集语义部件 通过公式(4)计算:

上式中,CAT表示将特征按照通道将对应的特征图进行拼接操作,uf和df表示参与运算的特征图, df∈{dfi|i∈0,1,...,5},LUP表示局部上采样模块,其包含五个结构相同的局部上采样子模块。

6.根据权利要求5所述的方法,其特征在于,全局解码网络重建原始行人图片的步骤具体包括:采用全局上采样模块GUP,其包含五个结构相同的全局上采样子模块;

在原始行人图片重建之前,引入全局大小适应模块GDA,将全局上采样子模块的输出特征图声明为全局图片重建结果通过公式(5)计算: