利索能及
我要发布
收藏
专利号: 2021106941687
申请人: 华侨大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种安全监控方法,其特征在于,包含:

接收目标区域的不同角度的多个监控视频;

根据多个所述监控视频,分别获取所述目标区域中的各个人物的图像序列;

根据所述图像序列,获取各个所述人物的身体姿态、面部表情序列和手势序列,并进行回归分析,以获得各个所述人物的安全系数;

根据各个所述安全系数,生成相应的安全报警等级;

根据多个所述监控视频,分别获取所述目标区域中的各个人物的图像序列,具体为:根据多个所述监控视频,通过OpenPose模型获取所述目标区域中的各个人物的不同角度的骨架信息;

根据所述骨架信息,获取各个所述人物所在的图像区域;其中,所述图像区域为各个所述人物的骨架面积最大的图像所在的区域;

根据所述图像区域,从多个所述监控视频中,分别提取各个所述人物的图像序列;

根据所述图像序列,获取各个所述人物的身体姿态,具体为:

根据所述图像序列,获取关节点数据,并建立人体骨骼模型;其中,所述关节点数据包括头部、颈部关节、躯干关节、右肩关节、右肘关节、右腕关节、左肩关节、左肘关节、左腕关节、右踝关节、左膝关节、左踝关节、左髋关节、左膝关节和左踝关节;

根据所述人体骨骼模型,以躯干关节为原点,躯干关节指向颈部关节为Z轴,左肩关节指向右肩关节为x轴,人体朝向方向为Y轴建立人体动态坐标系;

根据所述人体动态坐标系,将各个关节的坐标根据身高进行归一化处理后,计算身体参数;其中,所述参数包括身高、头到x轴的第一距离、右脚到x轴的第二距离、左脚到x轴的第三距离、身体倾斜角度、脚部角速度、肩部中心角速度和矩信息;

根据所述身体参数,通过SVM模型进行分类,以获得所述图像序列中人物的所述身体姿态;

根据各个所述安全系数,生成相应的安全报警等级,具体为:

根据各个所述安全系数,计算所述目标区域中小于预设的安全系数阈值的人数、安全系数的第一平均值和相邻场景的安全系数第二平均值;其中,所述相邻场景为目标区域旁边的区域的场景;

将所述人数、第一平均值和第二平均值,按照时间顺序排列成时序特征;

根据所述时序特征,通过预测模型进行预测,以获得所述安全报警等级;

安全系数的计算方法为:先获取处于危险状态的个体图片,人工对这些图片进行指标评判,打上1‑10分的安全系数;再获取这些图片的身体姿态特征向量V1、面部表情序列特征向量V2和手势序列特征向量V3,然后将三个特征向量与最终场景结果与人工打分结果合并生成一个样本,并根据这些样本进行线性回归分析生成回归函数;后续根据生成的回归函数对要打分的场景进行计算,即将新场景的特征向量 , , 输入回归函数中计算得到安全系数。

2.根据权利要求1所述的安全监控方法,其特征在于,根据所述图像序列,获取各个所述人物的面部表情序列,具体为:通过人脸检测模型,获得所述图像序列中的人脸区域;

通过表情识别模型,获得所述人脸区域中的表情信息;

根据所述图像序列的时间顺序和所述表情信息,生成初始表情序列;

根据所述初始表情序列,通过预测模型进行校正,以获得所述面部表情序列。

3.根据权利要求1所述的安全监控方法,其特征在于,根据所述图像序列,获取各个所述人物的手部动作序列,具体为:基于终端轻量化神经网络模型,构建物体检测模型;

通过所述物体检测模型,提取所述图像序列中的手部图像,并根据所述图像序列的时间生成手部图像序列;

根据所述手部图像序列,通过图像分类模型进行分类,以获得所述手势序列。

4.一种安全监控装置,其特征在于,包含:

视频模块,用于接收目标区域的不同角度的多个监控视频;

图像模块,用于根据多个所述监控视频,分别获取所述目标区域中的各个人物的图像序列;

系数模块,用于根据所述图像序列,获取各个所述人物的身体姿态、面部表情序列和手势序列,并进行回归分析,以获得各个所述人物的安全系数;

等级模块,用于根据各个所述安全系数,生成相应的安全报警等级;

所述图像模块包括:

骨架单元,用于根据多个所述监控视频,通过OpenPose模型获取所述目标区域中的各个人物的不同角度的骨架信息;

区域单元,用于根据所述骨架信息,获取各个所述人物所在的图像区域;其中,所述图像区域为各个所述人物的骨架面积最大的图像所在的区域;

图像单元,用于根据所述图像区域,从多个所述监控视频中,分别提取各个所述人物的图像序列;

系数模块包括:

人体模型模块,用于根据图像序列,获取关节点数据,并建立人体骨骼模型;其中,关节点数据包括头部、颈部关节、躯干关节、右肩关节、右肘关节、右腕关节、左肩关节、左肘关节、左腕关节、右踝关节、左膝关节、左踝关节、左髋关节、左膝关节和左踝关节;

人体坐标模块,用于根据人体骨骼模型,以躯干关节为原点,躯干关节指向颈部关节为Z轴,左肩关节指向右肩关节为x轴,人体朝向方向为Y轴建立人体动态坐标系;

人体参数模块,用于根据人体动态坐标系,将各个关节的坐标根据身高进行归一化处理后,计算身体参数;其中,参数包括身高、头到x轴的第一距离、右脚到x轴的第二距离、左脚到x轴的第三距离、身体倾斜角度、脚部角速度、肩部中心角速度和矩信息;

人体姿态模块,用于根据身体参数,通过SVM模型进行分类,以获得图像序列中人物的身体姿态;

等级模块包括:

阈值单元,用于根据各个安全系数,计算目标区域中小于预设的安全系数阈值的人数、安全系数的第一平均值和相邻场景的安全系数第二平均值;其中,所述相邻场景为目标区域旁边的区域的场景;

时序单元,用于将人数、第一平均值和第二平均值,按照时间顺序排列成时序特征;

等级单元,用于根据时序特征,通过预测模型进行预测,以获得安全报警等级;

安全系数的计算方法为:先获取处于危险状态的个体图片,人工对这些图片进行指标评判,打上1‑10分的安全系数;再获取这些图片的身体姿态特征向量V1、面部表情序列特征向量V2和手势序列特征向量V3,然后将三个特征向量与最终场景结果与人工打分结果合并生成一个样本,并根据这些样本进行线性回归分析生成回归函数;后续根据生成的回归函数对要打分的场景进行计算,即将新场景的特征向量 , , 输入回归函数中计算得到安全系数。

5.一种安全监控设备,其特征在于,包括处理器、存储器,以及存储在所述存储器内的计算机程序;所述计算机程序能够被所述处理器执行,以实现如权利要求1至3任意一项所述的安全监控方法。

6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至3任意一项所述的安全监控方法。