利索能及
我要发布
收藏
专利号: 2022103529971
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于时空自适应和人体姿态估计的多视角摔倒检测方法,其特征在于,包括如下步骤:获取摄像头采集的视频流片段,得到视频序列;

通过轻量级卷积网络对视频序列进行预处理,得到全局特征图序列;

对全局特征图序列中的每一幅全局特征图进行时空自适应处理,得到包含老人行为动作的图像块;

利用人体姿态估计算法从图像块中得到人体关键点的位置坐标;

根据人体关键点的位置坐标,利用阈值法判断不同视觉角度下图像块中的老人是否摔倒;

当连续N帧图像块判断为老人摔倒时,生成报警信号;

其中,根据人体关键点的位置坐标,利用阈值法判断不同视觉角度下图像块中的老人是否摔倒,包括:当 时,判断老人面对着摄像头方向摔倒,其中, 表示当前帧图像块中人体两胯中点的纵坐标, 表示当前帧图像块中人体两踝中点的纵坐标;

当 且 时,判断老人侧对着摄像头方向摔倒,其中,

表示老人直立行走时两胯中点与两踝中点的最小垂直高度,表示躯干偏离角度,表示当前帧图像块中人体两肩中点的位置坐标, 表示当前帧图像块中人体两胯中点的横坐标;

当 、  、 且

时,判断老人背对着摄像头方向摔倒,其中, 表示当前帧

图像块中人体左膝盖的位置坐标, 表示当前帧图像块中人体右膝盖的位置坐标,表示当前帧图像块中人体左脚踝的位置坐标, 表示表示当前帧图像块中人体右脚踝的位置坐标, 表示当前帧图像块中人体两踝中点的横坐标;以采集的原始视频序列为准, 表示从当前帧图像块开始向前第m帧图像中人体左膝盖的位置坐标,表示从当前帧图像块开始向前第m帧图像中人体右膝盖的位置坐标, 表示从当前帧图像块开始向前第m帧图像中人体左脚踝的位置坐标, 表示从当前帧图像块开始向前第m帧图像中人体右脚踝的位置坐标,   表示从当前帧图像块开始向前第m帧图像中人体两肩中点的位置坐标, 表示从当前帧图像块开始向前第m帧图像中人体两胯中点的位置坐标, 表示从当前帧图像块开始向前第m帧图像中人体两踝中点的位置坐标。

2.根据权利要求1所述的基于时空自适应和人体姿态估计的多视角摔倒检测方法,其特征在于,利用空间自适应的奖励函数和时间自适应的奖励函数处理全局特征图序列中的每一幅全局特征图,选择出包含老人行为动作的图像块,其中,空间自适应的奖励函数和时间自适应的奖励函数的表达式如下:;

其中, 表示空间自适应的奖励函数, 表示从第i个视频帧 采样的图像块, 表示 属于包含老人行为动作的图像块的softmax预测, 表示高斯分布采样所获得的期望, 表示时间自适应的奖励函数, 表示第i个视频帧输出的Bernoulli参数, 表示Bi=1时的softmax预测, 表示Bi=0时的softmax预测, 为预定义的超参数,L表示图像块的长度, 表示激活视频帧的阈值, ,n为视频帧的数量。

3.根据权利要求1所述的基于时空自适应和人体姿态估计的多视角摔倒检测方法,其特征在于,所述人体姿态估计算法采用MoveNet算法。

4.根据权利要求3所述的基于时空自适应和人体姿态估计的多视角摔倒检测方法,其特征在于,利用人体姿态估计算法从图像块中得到人体关键点的位置坐标的方法为:将ResNet网络与特征金字塔网络横向连接后对关键帧中的图像块进行处理,得到关键特征图;

通过四个预测头对关键特征图中人体关键点的位置坐标进行预测;

通过后处理精确定位并输出一组最靠近图像块中心的人体关键点位置坐标。

5.根据权利要求1所述的基于时空自适应和人体姿态估计的多视角摔倒检测方法,其特征在于,人体关键点包括左肩、右肩、左胯、右胯、左膝、右膝、左踝和右踝。

6.根据权利要求1所述的基于时空自适应和人体姿态估计的多视角摔倒检测方法,其特征在于,轻量级卷积网络采用ShuffleNet‑V2网络。

7.基于时空自适应和人体姿态估计的多视角摔倒检测装置,其特征在于,包括:视频流采集模块,用于通过摄像头采集视频流片段,得到视频序列;

第一级特征提取模块,用于通过轻量级卷积网络对视频序列进行预处理,得到全局特征图序列;

第二级特征提取模块,用于对全局特征图序列中的每一幅全局特征图进行时空自适应处理,得到包含老人行为动作的图像块;

第三级特征提取模块,用于利用人体姿态估计算法从图像块中得到人体关键点的位置坐标;

摔倒判断模块,用于根据人体关键点的位置坐标,利用阈值法判断不同视觉角度下图像块中的老人是否摔倒;

报警模型,用于当连续N帧图像块判断为老人摔倒时,生成报警信号;

其中,摔倒判断模块具体用于:

当 时,判断老人面对着摄像头方向摔倒,其中, 表示当前帧图像块中人体两胯中点的纵坐标, 表示当前帧图像块中人体两踝中点的纵坐标;

当 且 时,判断老人侧对着摄像头方向摔倒,其中,

表示老人直立行走时两胯中点与两踝中点的最小垂直高度,表示躯干偏离角度,表示当前帧图像块中人体两肩中点的位置坐标, 表示当前帧图像块中人体两胯中点的横坐标;

当 、  、 且

时,判断老人背对着摄像头方向摔倒,其中, 表示当前帧

图像块中人体左膝盖的位置坐标, 表示当前帧图像块中人体右膝盖的位置坐标,表示当前帧图像块中人体左脚踝的位置坐标, 表示表示当前帧图像块中人体右脚踝的位置坐标, 表示当前帧图像块中人体两踝中点的横坐标;以采集的原始视频序列为准, 表示从当前帧图像块开始向前第m帧图像中人体左膝盖的位置坐标,表示从当前帧图像块开始向前第m帧图像中人体右膝盖的位置坐标, 表示从当前帧图像块开始向前第m帧图像中人体左脚踝的位置坐标, 表示从当前帧图像块开始向前第m帧图像中人体右脚踝的位置坐标,   表示从当前帧图像块开始向前第m帧图像中人体两肩中点的位置坐标, 表示从当前帧图像块开始向前第m帧图像中人体两胯中点的位置坐标, 表示从当前帧图像块开始向前第m帧图像中人体两踝中点的位置坐标。

8.基于时空自适应和人体姿态估计的多视角摔倒检测装置,其特征在于,包括处理器及存储介质;

所述存储介质用于存储指令;

所述处理器用于根据所述指令进行操作以执行根据权利要求1 6任一项所述方法的步~骤。

9.计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1 6任一项所述方法的步骤。

~