利索能及
我要发布
收藏
专利号: 2024100979557
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种跨模态提示调整的素描行人重识别方法,其特征在于,包括如下步骤:S1、构建具有四个阶段的双流骨干网络提取输入行人照片和手绘素描的特征;

S2、将S1第一阶段骨干网络输出的照片特征使用照片摄动提示进行采样优化;

S3、将S1第三阶段骨干网络输出的素描特征使用第三阶段骨干网络输出的照片特征诱导素描细节增强,进行跨模态特征对齐和素描特征优化;

S4、利用通用的损失函数进行网络优化,并对S2和S3处理后经过骨干最后输出的特征进行相似性度量,输出匹配结果;

S2具体步骤如下:

S201、通过线性投影由特征提取网络第一阶段输出照片特征fp和素描特征fs进一步生成采样照片表征;通过使用sigmoid函数和静态因子0.5;具体可以表示为:S=0.5sigmoid(fp)·fs      (1);

S202、提前执行重塑操作,即将特征重塑为 的大小,然后进行线性投影用于生成偏移集,将集合重塑为满足的空间大小,称此过程为像素混洗;在其他超参数固定的情况下,像素混洗设置下可以将参数数量减少到1/4;线性投影首先用于生成偏移集;然后将集合重塑为满足空间大小;

S203、给定上采样比例因子为2,用于生成大小为H×W的偏移量S;网格样本函数使用S中的位置将照片浅层特征fp通过双线性插值重新采样为大小为2H×2W的特征,采样到的照片特征f'p是偏移量S和原始采样网格Grid的总和;这个过程定义为:f'p=S+grid_sample(fp,S)      (2);

S3具体步骤如下:

S301、特征提取网络第三阶段输出照片特征 和素描特征 分别输入到素描细节增强模块中;通过计算归一化后的特征张量之间的余弦相似度,得到一个亲和矩阵;余弦相似度Similarity的计算表征了特征向量之间的相似程度:然后使用Softmax函数对亲和矩阵进行操作,将其元素的值限制在0到1之间,并确保每行元素之和为1;利用归一化的亲和矩阵对素描特征张量 进行加权求和,得到空间对齐后的特征张量 这一步的目的是通过考虑照片特征张量中与当前素描位置相似的特征向量,来调整素描特征向量的表示,具体表示为:S302、采用两个级联卷积层来融合两种模态的视觉特征;第一个核大小为1×1的卷积层用于减少特征通道的数量,引入非线性变换GELU,核大小为3×3的卷积层实现了更全面的特征融合,从而生成特征池fpool:S303、对素描特征使用最大池化层maxpool、两个7×7卷积层、RELU和sigmoid函数,以生成空间注意力掩码;最后,将掩码mask和特征池fpool相乘以减少不相关照片特征的引入,从素描模态的角度获得所需的补充信息,从而得到素描细节增强后的特征f's;整个过程可以描述为:其中⊙表示哈达玛积。

2.根据权利要求1所述的方法,其特征在于,S1中四个阶段具体的构建过程如下:S101、将resnet50的第一层设计为结构相同但是网络参数不共享的双分支结构作为特征提取网络的第一阶段;

S102、将resnet50的第二、三层整合成特征提取网络的第二阶段,将第一阶段和第二阶段输出的特征共同被送入到后两个阶段继续进行行人特征的深层次提取,其中将resnet50的第四、五层依次整合成特征提取网络的第三、四阶段,最终得到共享照片特征和共享素描特征 K表示一个补丁大小即特征图的高×宽,d为特征图的通道数。

P S

3.根据权利要求2所述的方法,其特征在于,S101具体而言,使(X ,X)表示输入的照片模态和素描模态特征图的集合,其中,照片集由 表示,表示为素描集,M和N分别代表行人的身份数和每个身

P S

份行人的样本数;然后,照片X和素描X分别作为特征提取网络两个分支的输入。

4.根据权利要求1所述的方法,其特征在于,S4中利用通用的圆损失LCir和身份损失Lid对网络和分类结果进行优化,圆损失LCir和身份损失Lid分别表示为:其中δ(‑)=m;δ(+)=1‑m; [·]+是“零截止”运算,以确保 和 是非负的; 和 分别是正负样本对;L和H是输入正负对的数目;γ是用于相似性分离的比例因子;m表示边距参数;

其中Q为每批次中的行人身份数;yi为第i个行人身份的标签; 是对特征提取网络阶段

4后第t个行人身份的预测结果。

5.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该程序被处理器执行时实现如权利要求1~4中任一项所述的跨模态提示调整的素描行人重识别方法中的步骤。

6.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1~4中任一项所述的跨模态提示调整的素描行人重识别方法中的步骤。