利索能及
我要发布
收藏
专利号: 2024105341608
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种模态不平衡特征转换跨模态行人重识别方法,其特征在于,包括如下步骤:S1、构建行人图像样本集并预处理,包括成对的行人可见光图像样本、红外图像样本,以及对应的行人身份标签;

S2、分别以成对的行人可见光图像、以及红外图像的行人图片为输入,对应的全局可见特征、以及全局红外特征为输出构建双流特征提取网络,双流特征提取网络包括四个阶段,在第三阶段和第四阶段之间插入模态一致性感知模块MCP优化深层网络参数,并用最大平均差异损失来约束,促进特征优化;

S3、分别以全局可见特征、以及全局红外特征为输入,对应的转换后的可见光特征、以及转换后的红外特征为输出构建特征转移网络,特征转移网络对全局可见特征、以及全局红外特征分别按照批次大小分组,利用跨模态样本重新分配策略将分组后的全局可见特征、以及全局红外特征重新连接,经过模态不平衡特性交互模块CIFIM,得到转换后的可见光特征、以及转换后的红外特征,进一步得到最终转换的特征;

S4、分别以最终转换的特征为输入,行人对应的标签为输出构建度量学习网络,并通过特征重构差异损失、以及联合身份和联合圆损失最大化相同模态特征之间的距离和最小化不同模态特征的距离;

S5、以顺序连接的双流特征提取网络、特征转移网络、度量学习网络构建行人重识别神经网络,利用行人图像样本集训练行人重识别神经网络得到行人重识别模型,利用行人重识别模型实现对采集的行人图片的识别结果。

2.根据权利要求1所述的一种模态不平衡特征转换跨模态行人重识别方法,其特征在于,步骤S2中,双流特征提取网络的第一阶段、以及第二阶段为结构相同的双分支结构,第一分支第一阶段以行人可见光图像模态特征样本 和红外图像模态特征样本 为输入,第二分支第一阶段以红外图像模态特征样本 为输入;第一分支第一阶段、第二分支第一阶段分别对应连接第一分支第二阶段、以及第二分支第二阶段,获得浅层可见光图像模态特征、以及浅层红外图像模态特征;其中, 、 ,N和分别是每个模态中行人的样本数和行人身份标签;C、H、W分别表示输入图片特征的通道数、高、宽;  表示第i个可见光模态图像, 表示第个图像对应的标签;其中 表示第i个可见光模态图像, 表示第i个图像对应的标签。

3.根据权利要求2所述的一种模态不平衡特征转换跨模态行人重识别方法,其特征在于,双流特征提取网络的第三阶段用于接收第一分支第二阶段输出的浅层可见光图像模态特征,以及第二分支第二阶段输出的浅层红外图像模态特征,并进行融合得到特征 ,v表示可见光模态,r表示红外模态。

4.根据权利要求3所述的一种模态不平衡特征转换跨模态行人重识别方法,其特征在于,模态一致性感知模块MCP,被配置执行如下动作:S201、将特征 输入至模态一致性感知模块MCP,并且利用全局平均池化获得垂直和水平方向的投影特征,如下式:

,

k表示可见或者红外模态; 表示对图像宽度进行全局平均池化操作, 表示对图像高度进行全局平均池化操作;v表示可见光模态,r表示红外模态;

S202、将垂直和水平方向的投影特征进行特征融合,然后利用线性卷积来降低特征通道的维数,并进一步捕获不同通道维数下两种模态的重要信息,得到权重矩阵,如下式:,

其中, 是两个方向投影融合后的特征, 表示卷积操作, 和表示激活函数;

S203、进一步对特征进行融合,突出重要特征,抑制次要特征,得到最终融合特征 ,如下式:,其中, 表示融合后的特征权重矩阵。

5.根据权利要求4所述的一种模态不平衡特征转换跨模态行人重识别方法,其特征在于,第四阶段利用最大平均差异损失Lmmd约束全局可见特征 和全局红外特征 ,如下式:,

其中, 和 表示第i个行人的可见特征嵌入和红外特征嵌入, 表示将原始特征投影到再现核希尔伯特空间中的高斯核函数,N是可见模态中行人的样本数,M是红外模态中行人的样本数,是映射到希尔伯特空间的一个函数。

6.根据权利要求5所述的一种模态不平衡特征转换跨模态行人重识别方法,其特征在于,步骤S3中,跨模态样本重新分配策略具体包括如下子步骤:S3A‑1、针对双流特征提取网络输出的全局可见特征 和全局红外特征 进行分组,等分为m组,每组的特征表示如下式:,

其中j示被划分为的组号,B表示特征 的批量大小,每个模态的特征表示为:;

S3A‑2、将m组的红外特征每组依次与整个可见特征重新连接,将m组的可见特征每组依次与整个红外特征重新连接模拟具有不平衡跨模态样本的场景,其中可见图片数量>红外图片数量和红外图片数量>可见图片数量。

7.根据权利要求6所述的一种模态不平衡特征转换跨模态行人重识别方法,其特征在于,步骤S3中,模态不平衡特性交互模块CIFIM被配置执行如下动作:S3B‑1、将任何一组全局可见特征 与全局红外特征 沿批次维度组合获得输入特征 ,再分别经过卷积运算 、 、 ,然后使用层归一化降低模型对输入特征尺度和分布的敏感性得到输入特征 的查询矩阵 ,关键矩阵 和值矩阵 ;

S3B‑2、分别将 和 按照输入特征 中的可见光和红外特征批次进一步划分,得到新的可见光和红外查询矩阵和关键矩阵,具体表示为:,

其中, 是可见光模态查询矩阵, 是红外模态查询矩阵, 表示将全局特征按照批次维度划分, 是可见光模态关键矩阵, 是红外模态关键矩阵;

S3B‑3、利用跨模态矩阵法进行跨模态交互并进行模态补偿,如下式:  ,

其中, 表示矩阵乘法, 表示矩阵的置换操作, , 和 分别表示转换红外特征过程中的查询矩阵,关键矩阵、总的交互注意权重矩阵,d1为 的维度大小;

S3B‑4、利用softmax和dropout层克服过拟合,增强模型对未知数据的泛化能力,增强模态补偿,使用权重矩阵通过下式计算特征相似性:,

每一组经过模态不平衡特性交互模块CIFIM的转变后的特征表示为:,

其中, 表示元素级乘法,b1表示 的批次大小,m表示红外特征分组的组数;

S3B‑5、分别将每个模态分组的交互信息相融合得到转换后的红外特征:,

S3B‑6、将任何一组全局红外特征 与全局可见光特征 沿批次维度组合获得输入特征 , 再经过卷积运算,然后使用层归一化降低模型对输入特征尺度和分布的敏感性得到输入特征 的查询矩阵 ,关键矩阵 和值矩阵 ;

S3B‑7、分别将 和 按照输入特征中 的可见光和红外特征批次进一步划分,得到新的可见光和红外查询矩阵和关键矩阵,具体表示为:,其中, 可见光模态查询矩阵, 红外

模态查询矩阵, 可见光模态关键矩阵, 红外模态关键矩阵;

S3B‑8、利用跨模态矩阵法进行跨模态交互并进行模态补偿,如下式:  ,

其中, 表示矩阵乘法, 表示矩阵的置换操作, , 和 分别表示转换可见光特征过程中的查询矩阵,关键矩阵、总的交互注意权重矩阵, d2为 的维度大小;

S3B‑9、用softmax和dropout层克服过拟合,增强模型对未知数据的泛化能力,增强模态补偿,使用权重矩阵通过下式计算特征相似性:,

每一组经过模态不平衡特性交互模块CIFIM的转变后的特征表示为:其中, 表示元素级乘法, b2表示 的批次

大小;

S3B‑10、分别将每个模态分组的交互信息相融合得到转换后的可见光特征:,

S3B‑11、基于 ,进行级联和卷积操作,将特征维数恢复到预设值,得到最终转换的特征:。

8.根据权利要求7所述的一种模态不平衡特征转换跨模态行人重识别方法,其特征在于,步骤S4中,特征重构差异损失是 ,包括:多样性嵌入挖掘损失和双对准均方误差损失;其中多样性嵌入挖掘损失,如下式: ,

其中, 和 分别表示特征变换前和特征变换后第i个身份中每个模态的深度嵌入中心;表示损失的参数, , 分别表示每个模态第i个身份的变换前后的嵌入特征, ;

双对准均方误差损失如下式:

  ,

其中, 和 分别表示每个模态第i个身份转移前和转移后的特征, ,v表示可见光模态,r表示红外模态。

9.根据权利要求8所述的一种模态不平衡特征转换跨模态行人重识别方法,其特征在于,步骤S4中,联合联合身份和联合圆损失如下式:,

,

其中,身份损失为 ,圆损失为:

,Z表示转换前的特征嵌入, 表

示转换后的特征嵌入; , 分别为模态特征的正负样本对;表示正样本的margin损失,表示负样本的margin损失,表示超参数用来平衡损失的贡献比率,表示行人样本的标签,表示不同图像样本是同一个人的概率分布。