利索能及
我要发布
收藏
专利号: 2021100600320
申请人: 沈阳航空航天大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于关节点‑深度联合关注RGB模态数据的双人交互行为识别方法,其特征在于,包括如下步骤:

步骤S1:构建关节点‑深度联合RGB关注特征图;

步骤S2:采用卷积神经网络对关节点‑深度联合RGB关注特征图进行深层特征提取,并结合长短期记忆网络进行时序建模,得到最终识别结果。

2.根据权利要求1所述的基于关节点‑深度联合关注RGB模态数据的双人交互行为识别方法,其特征在于,所述步骤S1构建关节点‑深度联合RGB关注特征图,包括:S11:获取人体运动信息,其中人体运动信息包括深度数据、RGB视频数据和关节点数据;

S12:对深度数据进行边缘检测、膨胀、填充操作,得到深度关注矩阵;所述深度关注矩阵是首先检测深度图像的人体运动边缘,然后进行膨胀和填充得到人体与场景分割的二值矩阵;

S13:根据深度数据和RGB视频数据的对齐关系,采用深度关注矩阵对RGB图像进行剪切,保留RGB图像的ROI运动区域,即得到深度关注的RGB特征图,所述ROI运动区域为双人运动最大区域的保留,以去除冗余干扰部分;

S14:将关节点数据进行归一化处理,并计算双人交互的主动方和被动方、主要交互部位和次要交互部位、关键交互帧和非关键交互帧关系;

S15:对所述主动方和被动方、主要交互部位和次要交互部位以及关键交互帧和非关键交互帧关系进行不同程度的加权,并映射到RGB颜色空间中,形成关节点关注矩阵;

S16:将深度关注矩阵和关节点关注矩阵加权到RGB图像的ROI运动区域中,得到关节点‑深度联合RGB关注特征图。

3.根据权利要求2所述的基于关节点‑深度联合关注RGB模态数据的双人交互行为识别方法,其特征在于,所述步骤S11中使用深度相机Kinect v2提取人体中的深度数据、RGB视频数据和关节点数据。

4.根据权利要求2所述的基于关节点‑深度联合关注RGB模态数据的双人交互行为识别方法,其特征在于,所述步骤S14中,所述双人交互的主动方和被动方是计算单人整体的运动幅度;主要交互部位和次要交互部位是计算双人各个肢体的运动幅度;关键交互帧与非关键交互帧是计算每帧中双人整体的运动幅度。

5.根据权利要求2所述的基于关节点‑深度联合关注RGB模态数据的双人交互行为识别方法,其特征在于,所述步骤S15中加权映射关系为:主动方和被动方映射到RGB颜色空间中的R通道中,主动方的权值较大,被动方的权值较小;(2)主要部位和次要部位映射到RGB颜色空间中的G通道中,主要部位的权值较大,次要部位的权值较小;(3)关键帧和非关键帧映射到RGB颜色空间中的B通道中,关键帧的权值较大,非关键帧的权值较小。

6.根据权利要求2所述的基于关节点‑深度联合关注RGB模态数据的双人交互行为识别方法,其特征在于,步骤S16中所述加权具体为,首先根据深度关注矩阵在RGB图像上给背景以0的关注度,前景以1的关注度,再将关节点关注矩阵加权到该图像中,即得到关节点‑深度联合关注RGB特征图。

7.根据权利1所述的基于关节点‑深度联合关注RGB模态数据的双人交互行为识别方法,其特征在于,所述步骤S2卷积神经网络中卷积层为Alex网络前端的6个卷积层,继而得到深层卷积特征,将其以时间顺序送入LSTM网络进行时序建模,得到最终识别结果。