1.一种基于监控视频的遗留物检测方法,该方法包括以下步骤:S1:通过图像采集设备,获取视频流;
S2:匹配游客及其携带物
S21:使用YOLOv4网络,检测第N帧旅客人体及其随身携带的常见易丢失物品,作为目标物体;
S22:利用综合距离度量对多个目标物体及其对应游客人体进行匹配;
S3:对游客及其携带物进行目标跟踪,其具体包括以下步骤:S31:利用神经网络对多个目标物体进行表观建模;
S32:使用递归卡尔曼滤波预测第N+1帧中多个目标物体的位置;
S33:检测第N+1帧中的多个目标物体;
S34:利用步骤S31中的神经网络,生成N+1帧中多个目标物体的表观特征;
S35:利用卡尔曼滤波预测结果与表观建模,对连续两帧中的多个目标物体进行级联匹配,实现目标物体的实时跟踪;
S4:针对每个目标物体,根据其与对应游客的综合距离度量,判定是否为疑似遗留物体;
S5:若疑似遗留物体的停留时间超过阈值T5,则判定为遗留物。
2.根据权利要求1中步骤S22所述的利用综合距离度量方式,对多个目标物体及其对应游客人体进行匹配,其表达式如下:其中P为YOLOv4网络检测到的人体检测框,Pc为其中心点;O为携带物检测框,Oc为其中心点;S为检测框O与P的最小凸集,Sd为其对角线长度;ρ2(·)为欧氏距离;考虑到某些随身物品离身体较远,如拖行的行李箱,使用传统的IOU作为特征无法准确反映其匹配关系;该方式可以度量两个不重合或部分重合的检测框的距离关联;当目标物体与人体的综合距离dist(P,O)大于阈值T1时,则确定其关联关系。
3.根据权利要求1中步骤S35所述的级联匹配过程,其具有如下两个步骤:S351:使用马氏距离,对目标物体的卡尔曼滤波预测结果P与YOLOv4检测结果D进行运动信息关联,其公式如下:其中Dj表示第j个检测框的位置,Pi表示第i个预测框的位置,Σi表示检测位置与平均预测位置间的协方差矩阵;如果某对检测框与预测框的马氏距离dm小于阈值T2,则判定其关联成功;
S352:当存在遮挡时,马氏距离的可靠性降低,此时对检测对象的表观特征进行匹配;
对步骤S351中被成功关联的检测框使用S31中的神经网络进行表观特征提取,并逐帧将提取到的128维特征向量放置在跟踪器r(i)中;提取当前帧所有检测框特征向量rj,对当前帧第j个检测结果与第i个追踪器中最近100个关联成功的特征集,求取其最小余弦距离,即:其中Ri为所有跟踪器的集合,若某对检测框与预测框的表观特征具有最小余弦距离dc,且dc小于阈值T3,则判定其关联成功。