1.一种基于跨摄像头多目标跟踪的短跑监测方法,应用于基于跨摄像头多目标跟踪的短跑监测系统中,其特征在于,基于跨摄像头多目标跟踪的短跑监测系统包括:依次连接的信息采集模块、预处理模块、在线跟踪模块、跑步监督模块、过线检测模块、自动计时模块和信息管理模块;
信息采集模块用于获取参加短跑测试项目的所有跑步人员的跑步过程视频信息和操场图像信息;
预处理模块用于识别跑道线、划分跑步区域与非跑步区域;
在线跟踪模块包括:依次连接的目标检测模块、目标跟踪模块和目标匹配模块,在线跟踪模块将操场图像信息和跑步过程视频信息作为输入,对跑步过程视频中的跑步人员进行在线监测和实时跟踪;
跑步监督模块用于监测跑步区域是否安全以及监督跑步人员测试过程是否符合考试要求;
过线检测模块用于判断跑步人员在跑步过程中的过线情况,过线检测模块由透视变换模块和关键点检测模块组成;
自动计时模块用于计算参加跑步的跑步人员的跑步成绩;
信息管理模块包括:特征信息库和数据库,特征信息库用于存储所有跑步人员外观特征信息;数据库用于存储跑步人员的身份信息和考试成绩;
基于跨摄像头多目标跟踪的短跑监测方法,具体包括如下步骤:
S1,短跑监测系统启动后,通过信息采集模块获取操场短跑项目区域的实时监控视频;
S2,对操场短跑项目区域信息进行初始化;
S3,选择准备进行的短跑测试项目;
S4,通过起点处摄像头对所有跑步人员进行信息采集并保存至信息管理模块,将跑步人员的身份信息、跑道信息与目标ID三者相互关联;
S5,当跑步人员信息采集完毕后,起跑准备指令发出,跑步人员面向终点,做好起跑预备动作,此时,由自动计时模块发出起跑指令,并开始计时;
S6,跑步人员由起跑线跑出,在线跟踪模块和跑步监督模块分别对所有跑步人员进行轨迹跟踪和跑步监督;
S7,跑步人员从起点处摄像头进入到终点处摄像头后,终点处摄像头提取跑步人员的目标特征信息,并与特征信息库中保存的跑步人员外观特征信息相互匹配,跨摄像头目标匹配成功后,赋予跑步人员对应的目标ID,同时,对所有跑步人员进行轨迹跟踪和跑步监督;
S8,针对选择的短跑测试项目,自动计时模块根据每一个跑步人员的过线情况计算跑步成绩,同时,根据跑步人员的目标ID,关联到跑步人员的身份信息,保存跑步人员的身份信息和考试成绩至数据库;
S9,当检测到本组所有跑步人员过线并且完成成绩统计后,提示下一组跑步人员进入起跑区域做准备,同时清除特征信息库中暂存的本组目标特征信息;
S10,重复步骤S4 S9,实现基于跨摄像头多目标跟踪的短跑监测;
~
步骤S8具体包括如下步骤:
S8.1,过线检测模块根据短跑监测系统预处理模块中保存的跑道信息和各个区域坐标,获取最外侧两条跑道线的端点坐标,即需要进行透视变换区域的四个顶点坐标;
S8.2,透视变换模块计算透视变换矩阵,并通过透视变换矩阵将摄像头视角的图像转换为鸟瞰视角图像,透视变换公式为: (2);
其中, 为原始图像像素点坐标, 为透视变换后图像像素点坐标;矩阵 为透视变换矩阵, ,则透视变换后的图像像素点坐标表示为: (3);
令 =1,再利用透视变换区域的四个顶点坐标求解出透视变换矩阵 ;
S8.3,将透视变换模块输出的鸟瞰视角图像输入到关键点检测模块,关键点检测模块通过对人体关键点特征提取,获取人体关键点坐标信息;针对不同的测试项目,以起跑线或终点线为基准线,根据人体关键点坐标与基准线的位置关系,判断跑步人员在跑步过程中的过线情况;
S8.4,将终点线 或起跑线 设为基准线,根据预处理模块中保存的起跑线的端点坐标和 ,定义终点线方向时由 指向 ;终点线 的直线方程表达式为:
(4);
其中, , , ;同理得到起跑线
的直线方程表达式;
假设检测的人体关键点中,其中一个关键点坐标为 , 的表达式为:
(5);
当 时,关键点 位于终点线右侧,当 时,关键点 位于终点线上,当
时,关键点 位于终点线左侧,对于终点线,检测到 时,说明关键点 越过终点线,即跑步人员完成冲线或踩线的动作;
步骤S8中针对不同的测试项目计算跑步成绩的方法具体为:
计算短跑项目跑步成绩的步骤具体为:
令 表示起跑时间, 表示处于第 条跑道的跑步人员的过线时间;
自动计时模块在起跑指令发出后开始计时,记录此时起跑时间为 ;过线检测模块通过人体关键点特征提取方法,获取人体关键点坐标信息;若过线检测模块检测到处于第条跑道的跑步人员任意一个身体关键点越过终点线,说明该跑步人员完成冲线动作,记录过线时间为 ;计算 ,作为处于第 条跑道的跑步人员的短跑项目成绩;
计算往返跑项目跑步成绩的步骤具体为:
令处于第 条跑道的跑步人员的过线次数为 ,并初始化 ;自动计时模块在起跑指令发出后开始计时,记录此时起跑时间为 ;同时,过线检测模块通过人体关键点特征提取方法,获取跑步人员的人体关键点坐标信息;当 时,说明处于第 条跑道的跑步人员处于往返跑的过程中,若过线检测模块检测到该跑步人员脚踝坐标越过折返线或起跑线,说明跑步人员完成踩线动作,记录此时踩线时间,并将 赋值给 ;当时,说明处于第 条跑道的跑步人员处于最后一次折返冲刺的过程中,若过线检测模块检测到该跑步人员任意一个身体关键点越过终点线,说明跑步人员完成冲线动作,令,并记录过线时间为 ;计算 ,作为处于第 条跑道的跑步人员的往返跑项目成绩;本轮测试结束后,若存在 的情况,说明处于第 条跑道的跑步人员在折返跑的过程中出现未到达折返线就往回跑的情况,判定该跑步人员成绩无效。
2.根据权利要求1所述的一种基于跨摄像头多目标跟踪的短跑监测方法,其特征在于,信息采集模块包括:起点处摄像头和终点处摄像头,其中起点处摄像头朝跑步终点方向拍摄,终点处摄像头朝跑步起点方向拍摄,两个摄像头获取的场景范围覆盖短跑测试区域。
3.根据权利要求1所述的一种基于跨摄像头多目标跟踪的短跑监测方法,其特征在于,目标检测模块用于识别和定位跑步视频中的所有参加跑步测试的人员目标;目标跟踪模块用于预测目标在下一帧中的位置,并与上一帧中检测的各目标的轨迹进行关联,跟踪目标的移动轨迹;目标匹配模块用于关联不同视频信号中的同一目标,实现目标的跨摄像头跟踪。
4.根据权利要求1所述的一种基于跨摄像头多目标跟踪的短跑监测方法,其特征在于,步骤S2具体为:在离线准备阶段,预处理模块对信息采集模块获取的视频流进行预处理,通过图像处理的方式识别出起跑线、终点线和跑道线,并设置辅助线划分出跑步区域、非跑步区域以及各跑道区域,最后将各个区域坐标范围、辅助线以及跑道信息保存在短跑监测系统中,并且在每次短跑监测系统启动时进行跑步区域信息初始化。
5.根据权利要求1所述的一种基于跨摄像头多目标跟踪的短跑监测方法,其特征在于,步骤S4具体为:起点处摄像头获取起跑区域所有跑步人员的图像,并通过YOLOv8目标检测器对图像中所有跑步人员进行目标检测,获得所有目标检测框图,跑步人员的身份信息通过对目标检测框图进行人脸检测的方式获取;通过外观特征提取网络ResNet50,对目标检测框图进行特征信息提取,得到包括目标ID和目标外观特征的目标特征信息,暂存在特征信息库中;跑步人员的跑道信息通过对目标检测框的坐标信息和跑道坐标信息进行对比,获取跑步人员所处的跑道;同时,将跑步人员的身份信息、跑道信息与目标ID三者相互关联。
6.根据权利要求1所述的一种基于跨摄像头多目标跟踪的短跑监测方法,其特征在于,步骤S6或步骤S7中的轨迹跟踪具体实现方法为:在线跟踪模块采用Deepsort多目标跟踪算法对所有跑步人员进行轨迹跟踪,Deepsort多目标跟踪算法具体为:S6.1,通过YOLOv8目标检测器对起点处或终点处摄像头采集到的视频图像第一帧中的所有跑步人员进行检测,得到目标的边界框,创建每个目标的跟踪轨迹,并赋予目标ID;
S6.2,基于第一帧中目标边界框的位置,通过卡尔曼滤波算法预测目标边界框在下一帧的位置和状态,得到目标在下一帧的预测框;
S6.3,通过目标检测器对第二帧中的跑步人员进行检测,得到目标边界框;
S6.4,采用匈牙利算法对第二帧中检测到的目标边界框和卡尔曼滤波器得到的预测框进行最优匹配;若检测框和预测框成功匹配,说明前后两帧的目标轨迹成功追踪;根据匹配结果,更新所有目标的跟踪轨迹和检测框状态;
S6.5,循环步骤S6.1 步骤S6.4,直到视频帧结束,得到跑步人员在视频中的移动轨迹。
~
7.根据权利要求1所述的一种基于跨摄像头多目标跟踪的短跑监测方法,其特征在于,步骤S7中所述跨摄像头目标匹配的方法具体为:跑步人员从起点处摄像头进入到终点处摄像头后,终点处摄像头通过YOLOv8目标检测器对视频中的跑步人员进行检测,并将跑步人员的目标图片裁剪出来;将目标图片输入到外观特征提取网络ResNet50,得到目标人员的外观特征向量,并利用公式(1)计算目标人员的外观特征向量与特征信息库中的外观特征向量的相似度;若匹配成功,则赋予该跑步人员对应的目标ID: (1);
其中 为第i个轨迹与第j个检测之间的最小余弦距离; 为第j个检测目标的外观特征向量, 为 的转秩; 为第i个目标轨迹的外观特征库, 为目标外观特征库中保存的外观特征向量的个数; 为第i个目标的外观特征库中第k个外观特征向量。