利索能及
我要发布
收藏
专利号: 2021113834247
申请人: 闽江学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习的行人跌倒检测方法,其特征在于,将待检测视频输入到行人跌倒检测系统中,通过行人跌倒检测系统中各网络块的功能输出视频中的两类人体姿态和相应的报警信号。

2.根据权利要求1所述的基于深度学习的行人跌倒检测方法,其特征在于,该方法具体实现方式为:首先,将需要检测的视频输入到行人检测模块中,然后对视频进行抽帧和标记,提取每一帧的特征,再对行人的BBOX进行回归运算,得到的操作结果从分支1输入到多目标追踪模块,多目标追踪模块从行人检测模块的BBOX特征图中提取深度特征,然后通过计算BBOX特征和追踪器中的特征集之间的余弦距离进行特征匹配;同时,行人检测模块得到的操作结果从分支2进入跌倒检测模块,行人跌倒检测系统根据识别出的人体姿态输出相应的报警信号。

3.根据权利要求2所述的基于深度学习的行人跌倒检测方法,其特征在于,对于多目标追踪模块未匹配的特征,应计算BBOX和追踪器之间的IOU距离来重新匹配,并在匹配成功后更新追踪器的参数。

4.根据权利要求2所述的基于深度学习的行人跌倒检测方法,其特征在于,所述行人检测模块采用改进的YOLOv3网络,多目标追踪模块采用Deep SORT算法,跌倒检测模块采用YOLOv5网络。

5.根据权利要求4所述的基于深度学习的行人跌倒检测方法,其特征在于,所述改进的YOLOv3网络保留YOLOv3的多尺度融合特征,并使用Darknet19网络替代Darknet53,简化骨干网络。

6.根据权利要求4所述的基于深度学习的行人跌倒检测方法,其特征在于,所述多目标追踪模块采用的Deep SORT算法采用级联匹配的方法,级联匹配包括运动匹配和外观匹配,运动匹配是通过计算卡尔曼预测的目标位置和当前目标的实际位置之间的马氏距离来衡量,外观匹配是通过计算追踪器保存的目标特征集和BBOX的特征集之间的余弦距离来衡量,具体实现如下:

a)状态估计:在追踪场景中,使用八个参数 来描述运动状态,其中(u,v)是边界框的中心坐标,γ是纵横比,h是高度,其余四个变量代表图像坐标系中的速度信息;使用基于等速模型和线性观测模型的标准卡尔曼滤波器来预测目标运动状态,预测结果为(u,v,γ,h);

b)目标创建和移除:对于被追踪目标,记录最后一次检测结果与追踪结果ak匹配后的帧数;当目标的检测结果与追踪结果正确关联时,该参数设置为0;如果ak超过最大阈值Amax,则认为对目标的追踪过程结束;出现属于新目标的判断更新规则如下:如果检测结果中的目标与现有追踪器无关,则认为可能出现新目标,如果潜在新追踪器对连续三帧目标位置的预测结果与检测结果正确关联,则确认存在新的运动目标,否则,删除移动目标;

c)运动匹配和外观匹配:第一种度量方法,即运动目标运动状态的检测结果与卡尔曼预测结果之间的马氏距离与运动信息相关联,计算公式如下:T ‑1

d1(i,j)=(dj‑yi) Si (dj‑yi)其中dj是第j个边界框的位置,yi是第i个追踪器的预测位置,Si是检测位置和平均追踪位置之间的协方差矩阵;

在图像空间中使用卡尔曼滤波器进行运动状态估计是一个粗略的预测,因此,将第二个指标集成到分配问题中;

为每个检测块dj找到一个特征向量rj,限制条件为‖rj‖=1;为每个追踪目标构建一个图库,并存储与每个追踪目标成功关联的最后100帧的特征向量,然后,第二种度量方法是计算第i个追踪器的最后100个成功关联的特征集与当前帧的第j个检测结果的特征向量之间的最小余弦距离,计算公式如下:T (i) (i)

d2(i,j)=min{1‑rjrk |rk ∈Ri}为构造关联问题,将两个度量值的线性加权作为最终的度量值,权重公式为:ci,j=λd1(i,j)+(1‑λ)d2(i,j)级联匹配用于最终匹配检测器和追踪器预测的结果。

7.根据权利要求4所述的基于深度学习的行人跌倒检测方法,其特征在于,当使用Deep SORT算法追踪目标时,每个追踪器都与当前检测框和当前匹配检测框的行为相关联,当追踪器存储的前4帧的行为相同时,追踪器存储的行为将被相应更新,当连续3帧检测的行为与追踪器的行为不一致时,将输出单帧检测的姿态,否则,追踪器将继续输出。

8.根据权利要求1所述的基于深度学习的行人跌倒检测方法,其特征在于,行人检测的损失函数设置为LP,其表达式与YOLOv3中的损失函数一致,跌倒检测的损失函数设置为LF,其表达式与YOLOv5中的损失函数一致,行人跌倒检测系统的最终总损耗设置为LS,这是通过使用加权函数法融合两个损耗函数LP和LF获得的,行人跌倒检测系统的总损失函数表示如下:

LS=λ1LP+λ2LF

其中λ1和λ2是加权系数。