利索能及
我要发布
收藏
专利号: 2018113841713
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于三维视觉的人体异常姿态检测方法,其特征在于,该方法是将Kinect体感传感器搭载在移动平台上,移动平台采用Mecanum轮为移动轮,使搭载了Kinect体感传感器的移动平台能够跟随人体移动而移动,并利用Kinect体感传感器获取移动平台到人体骨骼点的距离,将获取的距离变化转化为电信号发送到移动平台,使移动平台能够跟随人体的移动方向而移动,且移动平台能够根据距离变化控制Mecanum轮的移动速度,确保移动平台与人体保持设定距离;同时根据Kinect体感传感器上摄像头拍摄的画面获取人体骨骼点信息建立跌倒模型,根据跌倒模型实时进行人体的跌倒检测。

2.根据权利要求1所述的基于三维视觉的人体异常姿态检测方法,其特征在于,所述根据跌倒模型实时进行人体的跌倒检测包括如下步骤:S1、利用Kinect体感传感器的摄像头获取人体的深度图形;

S2、利用深度图形建立人体骨骼点构成的人体骨架图;

S3、提取用于跌倒检测判定的五个特征骨骼点;

S4、获取五个特征骨骼点的空间位置,建立一个垂直于地面的平面L1且确保五个特征骨骼点到平面L1的距离最小;

S5、建立与平面L1垂直的平面L2且确保五个特征骨骼点到平面L2的距离最小;

S6、计算五个特征骨骼点在移动过程中到平面L1和平面L2的加权平均距离 和 以及五个特征骨骼点的移动速度S7、利用加权平均距离 和 以及五个特征骨骼点的移动速度 的变化来判断是否发生跌倒:①、若加权平均距离 和 大于设定的阀值,则代表特征骨骼点偏出建立的标准坐标系,发生巨大位置变化,表示人体跌倒的可能性较大,发出报警信号;

②、若特征骨骼点的速度 大于设定阀值时,表示人体跌倒的可能性较大,发出报警信号。

3.根据权利要求2所述的基于三维视觉的人体异常姿态检测方法,其特征在于,所述特征骨骼点分别是头部、肩部中心、左肩、右肩和脊柱。

4.根据权利要求2或3所述的基于三维视觉的人体异常姿态检测方法,其特征在于,所述步骤S4中建立平面L1方法包括如下步骤:(1)、获取五个特征骨骼点的空间坐标位置,头部骨骼点、肩部中心骨骼点、左肩骨骼点、右肩骨骼点和脊柱骨骼点在三维空间中的坐标分别为A(x1,y1,z1)、B(x2,y2,z2)、C(x3,y3,z3)、D(x4,y4,z4)和E(x5,y5,z5);

(2)、利用最小二乘法中的一元线性回归分析建立样本回归模型:其中,Yi为因变量,表示响应变量或被预测变量; 为Yi的截距; 为直线斜率;Xi为自变量,表示解释变量或预测变量;ei为随机误差;Yi模型中的Xi对应的值;

(3)、计算残差平方和:

其中, 为实际的坐标值;

(4)、使残差平方和达到最小计算出距离五个特征骨骼点距离最小的切面;以 为变量,计算出 值:即Q对两个待估参数 的偏导数:

解得:

(5)、距离五个特征骨骼点距离最小的切面垂直与地面,故平面方程为z1=k1x+b1;

(6)、利用最小二乘法将五个特征骨骼点的x轴坐标和z轴坐标数据带入样本回归模型即可求得k1,b1值;

(7)、五个特征骨骼点在z轴与x轴构成平面L1的位置。

5.根据权利要求4所述的基于三维视觉的人体异常姿态检测方法,其特征在于,所述步骤S5中建立平面L2的方法包括如下步骤:(1)、利用点和平面的性质,根据平面L1求出L1的一个正交切面L2,使平面L2与地面垂直;

(2)、使平面L2经过人体的脊柱骨骼点E(x5,y5,z5);

(3)、平面L1和平面L2在x轴和z轴构成的平面内为两条正交的直线,已知L1的方程z1=k1x+b1,故L2的方程z2=k2x+b2的系数,联立方程组求出L2的平面方程系数:得出,

6.根据权利要求5所述的基于三维视觉的人体异常姿态检测方法,其特征在于,所述步骤S6中五个特征骨骼点的移动速度V的计算方法如下:(1)、计算特征骨骼点到平面L1和平面L2的距离:

①、五个特征骨骼点分别到平面L1的距离为:

五个特征骨骼点到平面L1的加权平均距离为:

其中,dA1、dB1、dC1、dD1、dE1分别表示五个特征骨骼点分别到平面L1的距离,分别表示采用随机森林得到五特征骨骼点在跌倒过程中的权重;

②、五个特征骨骼点分别到平面L2的距离为:

五个点到平面L2的加权平均距离为:

其中,dA2、dB2、dC2、dD2、dE2分别表示五个特征骨骼点分别到平面L2的距离,分别表示采用随机森林得到五特征骨骼点在跌倒过程中的权重;

(2)、计算特征骨骼点速度的变化:地面的平面的方程式固定不变的,故利用地面作为参考对象来计算特征骨骼点的位置变化;

①、Kinect体感传感器获取特征骨骼点的三维坐标用来计算特征骨骼点距离地面的高度;

②、在Kinect体感传感器提供的IbodyFrame类里面有一个get_FloorClipPlane函数,函数的参数是vector4*floorClipPlane,返回值是HRESULT类型;其中,vector4结构体里有

4个float类型的数据成员,分别是x,y,z,w,这4个参数即为地面方程的系数x,y,z和常数项w,地面方程是在Kinect体感传感器的坐标系下得到的,常数项w表示Kinect体感传感器的中心点到地面的距离;将这四个数分别赋值给A,B,C,D,则可得地面方程为:Ax+By+Cz+D=

0;

③、根据特征骨骼点的三维坐标和地面方程,计算出特征骨骼点离地面的距离:④、Kinect体感传感器以每秒30帧的频率来获取特征骨骼点的数据,利用两帧之间特征骨骼点距离地面的变化来计算这两个帧之间的速度;第i+1帧时速度计算为:其中,di+1为时间ti+1时间帧点到地面的距离;di为时间ti时间帧点到地面的距离;

⑤、计算五个特征骨骼点在运动过程中的平均速度:

其中,vA、vB、vC、vD、vE分别表示五个特征骨骼点在运动过程中的速度。

7.根据权利要求1所述的基于三维视觉的人体异常姿态检测系统,其特征在于,该系统包括移动平台,移动平台下侧面设置有至少三个移动轮,移动轮采用Mecanum轮;移动平台的上侧面设置有Kinect体感传感器,Kinect体感传感器无线连接有上位PC机,上位PC机通过串口蓝牙以无线通讯的方式与移动平台进行通信;

移动平台上还设置有直流电机和主控制器,直流电机上设置有电机驱动器和光电编码器,上位PC机通过串口蓝牙以无线通讯的方式与主控制器进行通信;主控制器连接并控制电机驱动器,电机驱动器连接并控制直流电机,直流电机驱动Mecanum轮转动,直流电机连接光电编码器,光电编码器用于在直流电机转动的同时能实时速度反馈给主控制器用于转速调节,从而形成反馈控制。

8.根据权利要求7所述的基于三维视觉的人体异常姿态检测系统,其特征在于,所述移动平台上还设置有锂电池、充电管理模块和电源管理模块,充电管理模块电连接锂电池,锂电池电连接电源管理模块,电源电力模块分别电连接Kinect体感传感器、主控制器、电机驱动器、光电编码器为其供电。

9.根据权利要求7或8所述的基于三维视觉的人体异常姿态检测系统,其特征在于,所述Kinect体感传感器设置有Depth传感器。