利索能及
我要发布
收藏
专利号: 2025113379601
申请人: 石家庄铁道大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于双路径协同与关键帧引导重建的长时行人重识别方法,其特征在于,包括以下步骤:

S1.视频特征提取:采集待识别的行人视频并处理成视频序列,对采集到的行人视频序列,通过主干网络进行视频序列特征提取,得到视频特征序列;

S2.时空位置编码增强:对视频特征序列分别引入空间位置编码和时间位置编码,将所述视频特征序列与两种位置编码进行叠加处理,获得增强特征序列;

S3.双路径并行特征提取:通过局部动态特征捕捉路径对所述增强特征序列进行深度可分离卷积处理,并经非线性激活函数与残差连接操作,输出局部动态特征;通过跨帧全局特征建模路径对所述增强特征序列进行扩张时间采样,并采用多头注意力机制进行处理,输出跨帧全局特征;

S4.跨路径特征互补增强:对所述局部动态特征和跨帧全局特征分别进行通道投影处理,计算相应的双向门控权重;基于所述双向门控权重与投影后的特征进行加权融合,实现两类特征的相互增强,输出增强的双路径特征;

S5.自适应特征融合:基于所述增强特征序列计算运动差异指标、特征能量指标和遮挡指标,将指标输入门控模块生成融合权重;利用所述融合权重对增强的双路径特征进行加权融合,获得双路径融合特征;

S6.关键帧引导重建:基于所述双路径融合特征计算每帧的综合评分向量,根据评分结果筛选关键帧;通过全帧注意力传播机制对增强特征序列进行重建处理,并采用混合门控融合方式获得关键帧引导重建特征;

S7.多特征加权融合:对所述增强特征序列进行多层感知机处理获得细化特征;将所述双路径融合特征、关键帧引导重建特征和细化特征进行加权融合,经卷积处理和激活函数运算后,输出行人身份特征;

S8.特征匹配与结果返回:将所述行人身份特征输入主干网络进行进一步处理,得到标准化特征向量;将该标准化特征向量与图像库中的行人特征进行相似度比对,根据比对结果生成并返回匹配列表。

2.根据权利要求1所述的一种基于双路径协同与关键帧引导重建的长时行人重识别方法,其特征在于,所述空间位置编码为可学习参数向量;所述时间位置编码同样为可学习参数向量;当输入视频特征序列的时间步长与时间位置编码的预设长度不一致时,若输入时间步长较小,则截取时间位置编码的相应部分;若输入时间步长较大,则通过循环扩展方式使时间位置编码与输入时间步长相匹配。

3.根据权利要求1所述的一种基于双路径协同与关键帧引导重建的长时行人重识别方法,其特征在于,所述局部动态特征捕捉路径采用的深度可分离卷积包括时间维度深度卷积和空间维度深度卷积,其中两类卷积的分组数量均与输入特征的通道数保持一致;所述时间维度深度卷积的卷积窗口覆盖连续多帧特征,所述空间维度深度卷积的卷积窗口覆盖单帧特征的空间区域;深度可分离卷积处理后依次进行点卷积、非线性激活、点卷积和批归一化处理;所述残差连接通过将增强特征序列与得到的局部动态特征进行逐元素相加实现。

4.根据权利要求1所述的一种基于双路径协同与关键帧引导重建的长时行人重识别方法,其特征在于,所述多头注意力机制通过三个独立的线性投影分别生成查询向量、键向量和值向量;将所述查询向量、键向量和值向量按注意力头数进行维度划分;所述扩张时间采样采用固定间隔对键向量和值向量进行采样;所述多头注意力机制在每个注意力头内采用查询向量与键向量的缩放点积计算注意力权重,并通过Softmax函数进行归一化处理;利用所得注意力权重对值向量进行加权求和,将每个头的注意力输出进行拼接,并通过广播扩展恢复空间维度后,再经过线性投影层处理获得跨帧全局特征。

5.根据权利要求1所述的一种基于双路径协同与关键帧引导重建的长时行人重识别方法,其特征在于,所述通道投影通过点卷积实现,该点卷积保持特征的时间维度、高度维度及宽度维度不变;所述双向门控权重的计算过程包括:分别对局部动态特征和跨帧全局特征进行平均池化处理,将池化结果输入多层感知机;所述多层感知机包含依次连接的降维卷积层、非线性激活层和升维卷积层;最后通过Sigmoid函数生成门控权重,所述门控权重的取值范围为[0,1];所述增强的双路径特征通过将局部动态特征或跨帧全局特征、以及相应门控权重与相应投影特征的逐元素乘积,进行逐元素相加实现。

6.根据权利要求1所述的一种基于双路径协同与关键帧引导重建的长时行人重识别方法,其特征在于,所述运动差异指标通过计算增强特征序列中相邻时间步特征差的平方均值获得;所述特征能量指标通过计算增强特征序列中单帧特征的通道与空间均值获得;所述遮挡指标通过计算增强特征序列单帧特征能量指标与全局特征能量指标的绝对差获得;

所述门控模块先将运动差异指标、特征能量指标及遮挡指标进行拼接,经过包含卷积层与非线性激活层的特征转换网络处理后,采用Softmax函数生成融合权重,且所述两类特征的融合权重之和为1;所述双路径融合特征由增强的双路径特征与所得融合权重进行逐元素乘法后相加实现。

7.根据权利要求1所述的一种基于双路径协同与关键帧引导重建的长时行人重识别方法,其特征在于,所述综合评分向量通过将标准化后的基础评分向量、运动差异指标、特征能量指标及遮挡指标进行加权求和获得;所述基础评分向量由双路径融合特征经评分网络处理输出;关键帧数量根据视频总帧数自适应确定;所述全帧注意力传播机制先通过点卷积将双路径融合特征投影为查询向量、键向量、值向量,提取关键帧对应的键向量子集、值向量子集,并对查询向量、键向量子集、值向量子集进行空间池化;计算查询向量与键向量子集的相似度矩阵,叠加关键帧偏置并调整尺度后,经Softmax归一化获得注意力权重,最后通过注意力权重对关键帧值向量子集加权求和,得到全帧重建特征;混合门控权重由特征能量指标、运动差异指标及遮挡指标拼接形成的指标矩阵经门控函数生成,所述门控函数包含卷积层与Sigmoid激活函数。

8.根据权利要求1所述的一种基于双路径协同与关键帧引导重建的长时行人重识别方法,其特征在于,所述多层感知机由多个点卷积层构成,相邻卷积层之间依次设置非线性激活层和Dropout层;所述加权融合采用可学习融合权重参数;融合后的特征经过卷积层调整维度、批归一化处理及激活函数运算后,再通过残差连接方式与增强特征序列融合,输出行人身份特征。