利索能及
我要发布
收藏
专利号: 2022105247556
申请人: 南京博雅集智智能技术有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种非机动车行人重识别方法,其特征在于:包括以下步骤,

步骤一:根据同一场景不同摄像头下的监控视频构建非机动车行人重识别数据集;

步骤二:根据预训练的人体检测器对所述的非机动车行人重识别数据集进行人体检测得到局部人体图像,并对全局图像特征和局部人体图像进行预处理;

步骤三:使用所述步骤二过程预处理后的全局图像特征和局部人体图像对预设的非机动车行人重识别网络模型进行训练;

步骤四:使用训练后的非机动车行人重识别网络模型对待识别目标图像进行特征提取;

所述步骤三过程中具体的训练方式为:首先将全局图像特征 输入到一个简单的二分类网络,得到一个B×2的特征fw,根据fw赋予全局图像特征和局部人体特征的权重,若判别目标是骑行人,则其局部人体部分应获取更高的关注,最后,我们将全局图像特征和局部人体特征进行融合:F=(Fg·w1)+(Fh·w2)

其中,Fg和Fh分别表示全局图像特征和局部特征,特征F最终用于非机动车行人重识别;

为了让网络具备更佳的识别能力,同时使用了用于分类的交叉熵损失函数和用于度量学习的三元损失函数作为训练过程的损失函数:L=αLce+βLtriplet

其中,Lce表示交叉熵损失,Lce表示三元组损失,α和β分别表示两种损失函数的权重,交叉熵损失函数表示为:其中N表示最小批处理的图片数目,yi表示特征Fi的类别,C表示类别数目;

三元组损失其中的三元分别表示锚点样本、负样本和正样本,其中锚点样本为训练数据集中随机选取的一个样本,正样本和锚点样本属于同一类,负样本和锚点样本属于不同类,三元组损失函数学习的目的是为了使得同类的类内差距趋于最小,而不同类的类间差距趋于最大,其损失函数可以表示为:其中,α表示边缘超参数, 和 分别表示锚点样本特征、正样本特征和负样本特征。

2.根据权利要求1所述的非机动车行人重识别方法,其特征在于:所述步骤一过程中,构建所述非机动车行人重识别数据集分为四个步骤:(1)首先选取同一场景不同摄像头下的监控视频,采用在线检测跟踪模型TraDes对监控视频中的行人和骑着非机动车的行人目标进行检测跟踪,得到每个监控视频中的目标框信息和轨迹信息;

(2)然后采用预训练的resnet50深度学习网络模型提取所有检测到的目标特征;

(3)通过无监督方法infomap对所有目标进行聚类,用于关联跨摄像头下的同一目标;

(4)最后再进行人工校准,构建最终的非机动车行人重识别数据集。

3.根据权利要求2所述的非机动车行人重识别方法,其特征在于:所述非机动车行人重识别网络模型采用三个模型相互配合,包括:全局图像特征提取模块、局部注意力模块以及特征融合模块。

4.根据权利要求3所述的非机动车行人重识别方法,其特征在于:所述步骤四过程中,将待查询目标图像作为非机动车行人重识别网络模型的输入,分别学习目标的全局图像特征和局部人体特征,并自适应为全局图像特征和局部人体特征分配权重,将全局图像特征和局部人体特征进行融合作为目标最终的特征描述符;对候选图库中的所有图片进行相同的操作步骤获取其特征描述符,计算查询图片和候选库中所有图片的特征的余弦距离,并对距离进行排序,从候选库中选取出与查询距离相似度最高的目标作为最终的识别结果。

5.根据权利要求1~4任一所述的非机动车行人重识别方法,其特征在于:所述步骤二的人体检测器为yolov5s检测器,预处理的具体操作为:将所有训练和测试的原图像和检测到的局部人体图像大小均调整为384×128;然后通过随机水平翻转、随机擦除、随机裁剪和图像像素值的归一化,随机增加一些遮挡、旋转的样本来增强训练数据。

6.根据权利要求3所述的非机动车行人重识别方法,其特征在于:所述全局图像特征提取模块选取MGN作为基础骨架,输入的全局图像经过MGN后得到全局图像特征;局部注意力模块既包括通道注意力机制也包括空间注意力机制,输入的局部人体图像经过局部注意力模块后得到局部特征;特征融合模块的核心思想是根据输入图片是否骑车决定给与全局图像特征和局部特征不同的权重,其中,若判别目标是骑行人,则给与局部特征更高的权重,反之则给与全局图像特征较高的权重;

其中,所述全局图像特征提取模块采用的MGN是一个多分支的深度网络,同时结合了全局图像特征和多粒度局部特征;一个分支用于提取全局图像特征,负责提取共有的特征;然后将图像划分成N个条带,不同的N表示不同的粒度,负责不同层次或者不同级别特征的提取,N越大粒度越细,分别用两个分支负责多粒度局部特征提取;所述局部注意力模块采用的是层级注意力网络HAN;

所述特征融合模块是一个自适应注意模块,通过区分输入类型来确定全局和局部特征的权重,且该自适应注意力模块会通过判别是否是骑行人来决定是否给局部特征赋予更大的权重。

7.一种应用于权利要求6所述的非机动车行人重识别方法的系统,其特征在于:该系统包括:样本获取单元、数据处理单元、模型训练单元、以及模型应用单元;

其中,所述样本获取单元用于根据同一场景不同摄像头下的监控视频构建非机动车行人重识别数据集,所述数据处理单元用于根据预训练的人体检测器对所述的非机动车行人重识别数据集进行人体检测,并对全局图像和局部人体图像进行预处理,所述模型训练单元用于使用预处理后的全局行人图像和局部人体图像对预设的非机动车行人重识别网络模型进行训练,所述模型应用单元用于使用训练后的非机动车行人重识别网络模型对待识别图像进行特征提取。