利索能及
我要发布
收藏
专利号: 2018104222659
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于神经网络的人体行为识别方法,其特征在于采用多传感器多模块,包括以下步骤:步骤1)通过开启被监测者穿戴的图像传感模块,获取以穿戴者为中心的连续图像信息,其中图像处理为n*m区域上的信息,其中n为图像横向每行像素数,m为图像纵向每列像素数;

步骤2)通过开启被监测者穿戴的运动传感模块,获取记录穿戴者运动信息的x轴加速度、y轴加速度与z轴加速度信息,其中x轴为人体竖直方向垂直且正轴指向前方,y轴与人体竖直方向平行且正轴指向头部,z轴为人体竖直方向垂直且正轴指向人体左侧;

步骤3)场景识别模块接收来自图像传感器的信息,将接收的n*m像素区域的图像信息,将原始图像进行图像灰度化与均衡化,降低传入图像的误差与扰动。将灰度化与均衡化处理后的n*m像素区域图像信息作为神经网络的输入,利用基于长短时记忆递归神经网络LSTM-RNN进行场景分类;

步骤4)动作评估模块接收来自运动传感器信息,将接收的穿戴者运动信息的x轴加速度、y轴加速度与z轴加速度存储为三维向量组V={(x1,y1,z1),(x2,y2,z2),...,(xn,yn,zn)};定义tm为时间粒度,取tm时间内的三维向量组作为神经网络的输入,利用受运动数据集训练的,基于长短时记忆递归神经网络LSTM-RNN进行动作评估,获得该时间粒度内的原子动作;

步骤5)微智能服务器模块接收来自场景识别模块和动作评估模块的信息,将二者整合后,进行行为识别;取km个连续的原子动作,即以kmtm为识别时间单位,以场景元素为标签,检索运动信息数据库中的子表,进行模糊匹配,若匹配成功,则将行为识别结果返回给微智能服务器;

步骤6)微智能服务器模块按照用户设置,将行为识别模块的行为识别结果分类,按照用户的使用需求与设置,识别当前发生的动作是否达到警告级别;如果事件达到警告级别,微智能服务器会发送告警命令传递给警告模块;警告模块通过一种或多种方式对用户发出警告;

步骤7)系统界面是用户对系统调整和设置的入口,用户可通过该界面设置具体的服务器配置,将图像传感器、运动传感器绑定至系统;监视与观察系统的运行状态,设置系统的运行模式;

步骤8)运行记录模块监控并记录微智能服务器的所有运行状态,对系统运行过程的不同级别警告信息进行记录,将运行记录通过关系型数据库进行存储,用户通过系统界面查询运行记录模块的数据,对系统进行维护。

2.根据权利要求1所述的一种基于神经网络的人体行为识别方法,其特征在于所述步骤3)采用多传感器多模块,具体如下:步骤31)场景识别模块接收来自图像传感器的n*m像素区域的图像信息,主要通过对视频场景进行预处理与场景识别来描述场景底层特征,为了方便后面的场景识别,需要对场景图像进行灰度化、和均衡化处理;

步骤32)对原始场景图像进行灰度化处理,对于每一个像素点,由于人眼对红色光、绿色光、蓝色光的敏感程度不同,采用加权平均法赋予其不同的权重,可得该点的灰度值Gray=crR+cgG+cbB,其中cr,cg,cb分别为红色光、绿色光、蓝色光在转换中的权重,cr+cg+cb=1;

步骤33)对原始场景图像进行直方图均衡化处理,在光线不足的情况下,场景识别会出现较大的误差,因此需要对图像进行直方图均衡化,以改善对比度和亮度;上述直方图均衡化是图像处理领域中,利用图像直方图对对比度进行调整的方法,定义灰度级为其中T(r)是灰度级变换函数,rk是第k个灰度级,pr是灰度级rk出现的概率近似,nk是图像中灰度级为rk的像素个数(k=0,1,2,...,n-1),n是图像中像素的总数;

步骤34)经过步骤32)和步骤33)的预处理,场景图像实现了灰度化和均衡化,接着在多个数据集上训练完成循环神经网络RNN,利用该循环神经网络的全连接层输出作为提取的场景特征向量;

步骤35)利用LSTM型RNN神经网络进行场景特征分类,先计算当前时刻的候选记忆单元值 其中,tanh为双曲正切函数,xt为当前输入数据,ht-1为上一时刻LSTM单元输出值,Wxc、Whc分别表示对应输入数据和上一时刻LSTM单元输出的权值,bc为偏置量;

步骤36)使用输入门控制当前数据输入对记忆单元状态值的影响,输入门

其中σ为激励函数,ct-1为上一时刻候选记忆单元值,

和 分别表示对应输入门数据、上一时刻LSTM单元输入门和上一时刻输入门记忆单元值的权值,bi为偏置量;

步骤37)使用遗忘门控制历史信息对当前记忆单元状态值的影响,遗忘门为其中, 分别表示对应遗忘门、上一时刻LSTM单元遗忘门和上一时刻遗忘门记忆单元值的权值,bi为偏置量;

步骤38)计算当前时刻记忆单元状态值 其中,e表示逐点乘积,记忆

单元状态更新取决于自身状态ct-1和当前的候选记忆单元值 并且通过输入门和遗忘门分别对这两部分因素进行调节;

步骤3 9) 输出门 用于 控制记忆 单元状 态值的输 出 ,定义 输出门 为其中, 分别表示对应输出门、上一时刻LSTM单元输出门和上一时刻输出门记忆单元值的权值,bo为偏置量;

步骤310)计算LSTM单元的输出ht=ot e tanh(ct),LSTM网络采用通过时间的反向传播算法进行训练。

3.根据权利要求1所述的一种基于神经网络的人体行为识别方法,其特征在于所述步骤4)采用多传感器多模块,具体如下:步骤41)动作评估模块接收来自运动传感器的三维信息,预处理传感器加速度x,y,z三轴数据,相当于图像中的RGB三个通道;定义tm为时间粒度,取tm时间内的三维向量组作为神经网络的输入;

步骤42)在多个数据集上训练完成循环神经网络RNN,利用该循环神经网络的全连接层输出作为提取的动作特征向量;

步骤42)利用LSTM型RNN神经网络进行动作评估,执行步骤35)~步骤310),输出tm时间段内动作评估结果。

4.根据权利要求1所述的一种基于神经网络的人体行为识别方法及系统,其特征在于所述步骤5)采用多传感器多模块,具体如下:步骤51)微智能服务器模块接收来自场景识别模块和动作评估模块的信息,取kmtm为识别时间单位,在kmtm时间内,场景识别结果不变,得到动作序列集其中Actioni为kmtm时间中第i个原子动作;

步骤52)以场景元素为标签,检索运动信息数据库中的子表,进行模糊匹配,若匹配成功,则将行为识别结果返回给微智能服务器。

5.根据权利要求1所述的一种基于神经网络的人体识别方法及系统,其特征在于,所述步骤1)中,n按照经验取352,m按照经验取288。

6.根据权利要求2所述的一种基于神经网络的人体识别方法及系统,其特征在于,所述步骤32)中,cr按照经验取0.30,cg按照经验取0.59,cb按照经验取0.11。

7.根据权利要求2所述的一种基于神经网络的人体识别方法及系统,其特征在于,所述步骤36)中,σ按照经验取logistic sigmoid函数。

8.根据权利要求1所述的一种基于神经网络的人体识别方法及系统,其特征在于,所述步骤4)中,tm按照经验取3。

9.根据权利要求1所述的一种基于神经网络的人体识别方法及系统,其特征在于,所述步骤5)中,km按照经验取5。