1.一种遮挡目标重识别方法,其特征在于,所述遮挡目标重识别方法包括如下步骤:输入目标重识别任务数据,判断任务类型为车辆重识别或行人重识别;
当判断任务类型为车辆重识别时,所述目标重识别任务数据为车辆图片,将所述车辆图片输入车辆重识别模型,所述车辆重识别模型包括改进的全尺度网络、广义平均池化层、组特征注意力模块和全连接层;利用所述改进的全尺度网络对所述车辆图片进行全尺度特征提取,得到车辆全尺度特征图;利用所述广义平均池化层将所述车辆全尺度特征图转换成车辆全尺度特征向量;将所述车辆全尺度特征向量输入所述组特征注意力模块,输出代表性特征向量;所述代表性特征向量输入所述全连接层后输出概率值,利用所述概率值和损失函数优化所述车辆重识别模型;根据所述代表性特征向量进行相似度匹配,并根据相似度排名输出车辆重识别结果;
当判断任务类型为行人重识别时,所述目标重识别任务数据为行人图片,将所述行人图片输入行人重识别模型,所述行人重识别模型包括改进的全尺度网络、人体姿态估计网络、自适应平均池化层、最大池化层、广义平均池化层和全连接层;所述改进的全尺度网络对所述行人图片进行全尺度特征提取,得到行人全尺度特征图;所述人体姿态估计网络对所述行人图片进行特征提取,得到人体关键点热图,所述自适应平均池化层对所述人体关键点热图进行下采样,得到与所述行人全尺度特征图的特征维度相匹配的降维人体关键点热图;将所述降维人体关键点热图和所述行人全尺度特征图进行元素级融合,得到融合后特征图,所述最大池化层将所述融合后特征图转换成融合后特征向量;所述广义平均池化层将所述行人全尺度特征图转换成行人全尺度特征向量;将所述融合后特征向量与所述行人全尺度特征向量进行拼接,得到关注于非遮挡区域特征信息的总特征向量;所述总特征向量输入所述全连接层后输出概率值,利用所述概率值和损失函数优化所述行人重识别模型;根据所述总特征向量进行相似度匹配,并根据相似度排名输出行人重识别结果;
所述改进的全尺度网络通过以下方法得到:在OSNet模型的基础上删除最后的全局平均池化层和全连接层,得到所述改进的全尺度网络;
将所述车辆全尺度特征向量输入所述组特征注意力模块,输出代表性特征向量的方法具体包括:所述组特征注意力模块包括多个全连接层和组决策网络,第一个全连接层被视为基于实例的特征表示,后续的每个全连接层被看作组感知特征表示,用于丰富特征;
其中,基于实例的特征表示相当于传统的图像分类算法的最后一层全连接层,用以下公式预测身份概率:yi是身份标签,x2是输入样本, 是基于x2的实例特征表达的特征向量,g是一个函数,将特征向量 映射到M维,M是车辆的身份数,通过sofmax操作,得到对应的身份概率p(yi|x2);
后续的每个全连接层分别产生对应的向量,通过对每个向量加权求和得到组感知特征向量集 每个向量的权重获得通过组决策网络获得;组决策网络以一种自我分组的方式逐步训练,通过考虑潜在组的分布来提供一个组标签;利用由先验概率调节的修正概率来深度生成均匀分布的组标签;定义了一个期望归一化概率p′来平衡不同组之间的样本数量:其中第一个 将归一化概率限制在0到1之间;
然后,将期望归一化概率的期望计算为:
最优自分布标签为:
经过训练的组决策网络估计出一组概率,即看作注意力分配的权重;利用组决策网络分配相应的权重并进行加权求和得到组感知特征向量集其中,k2表示全连接层的个数, 表示组决策网络输出的修正概率;
将 聚合到基于实例的特征表示 中得到总特征 丰富不同遮挡程度下的车辆特征;
最后根据总特征 预测最终身份概率:
所述人体姿态估计网络对所述行人图片进行特征提取,得到人体关键点热图的方法包括:所述人体姿态估计网络采用HRNet网络结构,所述人体姿态估计网络由并行的多个子网组成,两个串联的卷积跨越高分辨率到低分辨率;多尺度信息在不同分辨率的子网上融合,并输出一个具有相同分辨率的特征图作为下一次卷积层的输入;
利用HRNet网络结构提取N个人体关键点地标,其中N为17;姿态网络的输出由坐标点和置信度分数组成;姿态地标的位置信息如下公式所示:其中i=1,…,N,txi,tyi是坐标点,si是置信分数,g是阈值,通过设置g,可以过滤出具有高置信度的可见地标和具有低置信度的不可见地标;当置信度分数存在时,记录地标的坐标点位置;相反,当行人被遮挡时,地标的置信度得分变得非常低,则设置为0;
根据地标的位置信息生成N个关键点热图W=[w1,…,wN],其中,关键点中心取值最高,越靠近中心点指越高,反之越低。
2.根据权利要求1所述的遮挡目标重识别方法,其特征在于,所述改进的全尺度网络对所述行人图片进行全尺度特征提取,得到行人全尺度特征图的方法具体包括:改进的全尺度网络的框架依次包括步长为2的7×7卷积层、步长为2的3×3最大池化层、两个全尺度块、1×1卷积层、步长为2的2×2平均池化层、两个全尺度块、1×1卷积层、步长为2的2×2平均池化层、两个全尺度块和1×1卷积层:其中,7×7卷积层用于特征提取,3×3最大池化层用于降维,全尺度块用于全尺度特征提取,1×1卷积层用于调整通道数,平均池化层用于降维;
所述全尺度块包括第一1×1卷积层、lite 3×3层、统一聚合门、第二1×1卷积层和ReLU层;所述lite 3×3层包括1×1卷积层、3×3深度可分离卷积、批归一化层和ReLU层;其中,第一1×1卷积层用于降低特征维度;通过堆叠1到4个lite 3×3层用于提取不同尺度的特征;统一聚合门通过动态的组合不同尺度的特征和分配相应的权重以获得图片中的全尺度特征;第二1×1卷积层用于恢复特征维度;ReLU层进行非线性激活操作;最后从输入到输出进行一个残差运算;
t
假设F代表不同尺度的特征流,t是当前lite3×3的数量,P表示lite3×3的最大数量,则全尺度特征的计算如下:所述统一聚合门包括全局平均池化层、多层感知机和激活层,统一聚合门通过动态的组合不同尺度的特征和分配相应的权重以获得图片中的全尺度特征,动态融合如下式所示:t
其中,t是当前lite3×3的数量,P表示lite3×3的最大数量,x等于全尺度特征计算步t t骤中的F (x1),Q(x)是一个跨越整个通道的向量,⊙表示Hadamard product,Q通过一个统一聚合门中的小型网络得到,统一聚合门通过动态分配权重组合不同尺度特征的输出,得到全尺度特征。
3.根据权利要求1所述的遮挡目标重识别方法,其特征在于,将所述降维人体关键点热图和所述行人全尺度特征图进行元素级融合,得到融合后特征图,所述最大池化层将所述融合后特征图转换成融合后特征向量的方法包括:利用以下公式进行元素级融合:
F是全尺度特征图,W是降维人体关键点热图, 表示元素集相乘操作,AMP表示自适应最大池化操作,fp表示融合后特征向量;
将所述融合后特征向量与所述行人全尺度特征向量进行拼接,得到关注于非遮挡区域特征信息的总特征向量的方法包括:将融合后特征向量和行人全尺度特征向量进行维度上的拼接,得到总特征向量。
4.根据权利要求1所述的遮挡目标重识别方法,其特征在于,利用所述概率值和损失函数优化所述车辆重识别模型和利用所述概率值和损失函数优化所述行人重识别模型的方法均包括以下步骤:利用动量自适应损失权重更新法将标签平滑的交叉熵损失和三元组损失合并来训练整个网络。
5.根据权利要求4所述的遮挡目标重识别方法,其特征在于,利用动量自适应损失权重更新法将标签平滑的交叉熵损失和三元组损失合并来训练整个网络的方法具体包括:设置损失函数为标签平滑的交叉熵损失和三元组损失;初始时,标签平滑的交叉熵损失和三元组损失的比值是1:1;经过多次迭代后,损失比将根据记录的标签平滑的交叉熵损失和三元组的标准差进行更新;
其中,标签平滑的交叉熵损失定义如下:
其中,利用全连接层输出概率值,qi是真实标签中第i个类别的概率值,pi是模型预测的第i个类别的概率值;ε是常数设置为0.1;
三元组损失定义如下:
Ltri=max(d(a,p)+d(a,n1)+margin,0)
表示类间相似度,Sp=d(a,p)表示类内相似度,a是一张固定的图片,p是正样本图片,n1是负样本图片,d表示样本之间的距离;目的是最大化 和最小化Sp;
损失比将根据记录的标签平滑的交叉熵损失和三元组损失的标准差进行更新,更新的方法具体包括:利用动量自适应损失权重更新法对标签平滑的交叉熵损失和三元组损失的损失权重更新,更新过程如下表所示:表损失权重更新过程
根据损失函数计算得到的误差对网络参数进行修正,从而对所述车辆重识别模型或所述行人重识别模型进行优化。
6.根据权利要求1所述的遮挡目标重识别方法,其特征在于,输入目标重识别任务数据,判断任务类型为车辆重识别或行人重识别的方法具体包括:输入的所述目标重识别任务数据为一组图片数据;
利用训练好的卷积神经网络分类器对一组图片数据的目标类型进行判断,若目标为车辆则输出结果为0,若目标为行人则输出结果为1;然后对该组图片数据的输出结果进行计算,若输出结果为0的百分比大于输出结果为1的百分比,则任务类型为车辆重识别,反之为行人重识别。
7.根据权利要求1所述的遮挡目标重识别方法,其特征在于,
根据所述代表性特征向量进行相似度匹配,并根据相似度排名输出车辆重识别结果的方法具体包括:准备查询集和图库;利用车辆重识别模型对查询集所有车辆图片进行特征提取;接着对图库中的图片进行特征提取;将得到的查询集所有车辆图片特征和图库中图片特征进行特征匹配,输出每个车辆对应的特征重合率较高的前几张图像作为车辆重识别结果;
根据所述总特征向量进行相似度匹配,并根据相似度排名输出行人重识别结果的方法具体包括:准备查询集和图库;利用行人重识别模型对查询集所有行人图片进行特征提取;接着对图库中的图片进行特征提取;将得到的查询集所有行人图片特征和图库中图片特征进行特征匹配,输出每个行人对应的特征重合率较高的前几张图像作为行人重识别结果。