利索能及
我要发布
收藏
专利号: 2024106246723
申请人: 中国矿业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种溺水行为分析方法,其特征在于:包括如下步骤:

Step1:构建动态信息库储存多时刻、所有目标人体的人体位置和人体关键点信息;动态信息库以各目标人体的、全局唯一的ID号为主键,为各目标人体建立动态信息队列,动态信息队列按照时间戳先后顺序存储目标人体的人体位置标签和人体关键点标签;进入Step2;

Step2:比较每个人体目标的动态信息队列中最新动态信息条目和设定时间长度前的动态信息条目,根据人体位置标签计算位移值:若位移值小于设定位移值,则判断目标人体在设定时间长度内没有发生明显位移,进入步骤Step3;否则,重复步骤Step2;

Step3:检测目标人体姿态,从动态信息队列的最新动态信息条目中获取目标人体的人体关键点标签KP=[(Xls,Yls),(Xrs,Yrs),(Xlh,Ylh),(Xrh,Yrh)],其中:(Xls,Yls)为目标人体的左肩坐标,(Xrs,Yrs)为目标人体的右肩坐标,(Xlh,Ylh)为目标人体的左髋坐标,(Xrh,Yrh)为目标人体的右髋坐标;进入步骤Step4;

Step4:计算目标人体姿态的方向向量 即目标人

体左右肩部中点指向左右髋部中点的向量;进入步骤Step5;

Step5:设地面水平向量为 计算目标人体与地面水平方向的夹角

若0°<θ<60°,则判断目标人体为非站立状态,具有溺水风险;否则,返回步骤Step2。

2.一种基于多目标跟踪与识别的防溺水系统,其特征在于:包括后端处理平台,所述后端处理平台对泳池的视频流,先采用多目标识别算法识别人体目标、定位人体位置并标注人体关键点,然后采用多目标跟踪算法跟踪人体目标、人体位置及人体关键点,接着基于人体位置、人体关键点建立人体目标的动态信息库,最后采用权利要求1所述的溺水行为分析方法对动态信息库进行分析,生成游泳者标定画面与预警信息。

3.根据权利要求2所述的基于多目标跟踪与识别的防溺水系统,其特征在于:工作流程包括如下步骤:

S01:对视频流进行分帧处理,在视频帧中标注目标人体、人体位置和人体关键点形成原始帧,在对原始帧进行预处理,构建训练数据集;

S02:构建多目标识别与跟踪模块,以基于梯度优化的方法对多目标识别与跟踪模块的参数进行更新;所述多目标识别与跟踪模块包括多目标识别单元和多目标跟踪单元;

所述多目标识别单元,输入训练数据集中的视频帧,输出多目标的人体位置和人体关键点预测结果;

所述多目标跟踪单元,输入多时刻、多目标的人体位置和原始帧,匹配每个人体目标在不同视频帧中的轨迹信息;

S03:将实时视频流输入到训练好的多目标识别与跟踪模块,实时识别并跟踪各视频帧中每一个人体目标及对应的人体位置和人体关键点;

S04:构建动态信息库,存储多时刻、多目标的人体位置和人体关键点信息;

S05:构建溺水行为分析模块对动态信息库进行分析,生成游泳者标定画面与预警信息。

4.根据权利要求3所述的基于多目标跟踪与识别的防溺水系统,其特征在于:所述步骤S01中,在视频帧中标注目标人体、人体位置和人体关键点,构建训练样本的过程为:首先对视频流进行分帧,然后分别对各视频帧进行标注,标注工具采用开源标注工具coco‑annotator;标注目标人体是指用矩形的位置检测框在视频帧中框取游泳者,人体位置标签由位置检测框的左上角坐标和右下角坐标构成,人体关键点标签由游泳者的左肩坐标、右肩坐标、左髋坐标和右髋坐标构成。

5.根据权利要求3所述的基于多目标跟踪与识别的防溺水系统,其特征在于:所述步骤S02中,多目标识别单元由基于特征金字塔的卷积神经网络构成,对特征金字塔输出的第三层特征、第四层特征和第五层特征进行网络融合编码,获得多尺度融合特征,将多尺度融合特征输入到用全连接层构成的输出头,输出多目标的人体位置和人体关键点预测结果。

6.根据权利要求3所述的基于多目标跟踪与识别的防溺水系统,其特征在于:所述步骤S02中,多目标跟踪单元基于卡尔曼滤波方法,将前一视频帧中的位置检测框与当前视频帧的位置检测框进行关联,提取目标人体的外观特征,从而定位同一目标人体在连续视频帧中的位置,为每一个目标人体建立全局唯一的ID号,实现对目标人体的持续跟踪。

7.根据权利要求3所述的基于多目标跟踪与识别的防溺水系统,其特征在于:所述步骤S04中,构建动态信息库储存多时刻、所有目标人体的人体位置和人体关键点信息;动态信息库以多目标跟踪单元中获得的各目标人体的、全局唯一的ID号为主键,为各目标人体建立动态信息队列,多目标识别与跟踪模块每处理一帧视频帧后,向该视频帧中出现的目标人体对应的动态信息队列中存储一条动态信息条目;动态信息条目包括目标人体在该视频帧中的人体位置标签和人体关键点标签,以及该视频帧的时间戳,每个动态信息队列存储至多设定时间长度的动态信息条目,当动态信息队列中首尾两条动态信息条目的时间戳差值大于设定时间长度,则删除动态信息队列中时间戳最早的一条动态信息条目。

8.根据权利要求3所述的基于多目标跟踪与识别的防溺水系统,其特征在于:所述步骤S05中,溺水行为分析模块比较每个人体目标的动态信息队列中首尾两条动态信息条目,若发现目标人体在两条动态信息条目中的计算位移值小于设定位移值,则判断目标人体在设定时间长度内没有发生明显位移,此时检测目标人体姿态,从动态信息队列的最新动态信息条目中获取目标人体的人体关键点标签KP:KP=[(Xls,Yls),(Xrs,Yrs),(Xlh,Ylh),(Xrh,Yrh)]

其中:(Xls,Yls)为目标人体的左肩坐标,(Xrs,Yrs)为目标人体的右肩坐标,(Xlh,Ylh)为目标人体的左髋坐标,(Xrh,Yrh)为目标人体的右髋坐标;

计算目标人体姿态的方向向量 即目标人体左右肩部中点指向左右髋部中点的向量:

设地面水平向量为 计算目标人体与地面水平方向的夹角θ:

若0°<θ<60°,则判断目标人体为非站立状态,具有溺水风险,生成预警信息发送给前端警示器。

9.根据权利要求2所述的基于多目标跟踪与识别的防溺水系统,其特征在于:还包括前端展示器,所述前端展示器利用WebSocket协议接收后端处理平台发送的游泳者标定画面,前端展示器基于Django框架设计,并以视频流的方式实时展示游泳者标定画面。

10.根据权利要求2所述的基于多目标跟踪与识别的防溺水系统,其特征在于:还包括前端警示器,所述前端警示器为智能手环、预警扩音器或预警屏幕,后端处理平台通过Wi‑Fi通信协议将预警信息发送给前端警示器,预警信息包括具有溺水风险的目标人体及其人体位置。