利索能及
我要发布
收藏
专利号: 2024101818533
申请人: 河海大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于点云特征图的实时三维行为识别方法,其特征在于:包括以下步骤:S1、将深度序列转化为点云序列;

S2、使用静态点云方法作为虚拟行为生成序列模块,将点云序列抽象为虚拟行为序列;

S3、构建并行的点云外观图模块和点云运动图模块,点云外观图模块用于生成点云外观图并形成点云外观图描述符;点云运动图模块用于生成点云运动图并形成点云运动图描述符;

S4、融合点云外观图描述符和点云运动图描述符,生成每个行为序列的最终特征;

S5、将每个行为序列的最终特征发送到一个完全连接的分类器中,进行三维行为识别;

步骤S3具体包括以下分步骤:

S3.1、生成深度运动图像DMI,深度运动图像DMI的计算公式如下:DMI(i,j)=MAXt=1,...,T(I(i,j,T));

其中,I(i,j,T)是像素位置(i,j)上第T个深度帧的像素值,t的范围是从帧1到T,T表示虚拟行为帧的数量;

S3.2、基于MLP‑Mixer结构构建点云外观图模块,以虚拟行为序列 作为点云外观图模块的输入,其中C表示虚拟行为序列的特征维度,点云外观图模块包括帧间MLP块、帧内MLP块以及max‑pooling层;通过点云外观图模块生成点云外观图,形成点云外观图描述符;

MLP‑Mixer是一个网络架构,用于将不同位置和不同通道的信息特征进行混合;

S3.3、基于MLP‑Mixer结构构建点云运动图模块,点云运动图模块包括帧间MLP块、帧内MLP块以及sum‑pooling,其中帧间MLP块、帧内MLP块分别对应与点云外观图模块中的帧间MLP块、帧内MLP块结构相同;通过点云运动图模块生成点云运动图,形成点云运动图描述符;

步骤S3.2中,帧间MLP块包括两个全连接层、一个非线性层以及一个跳过连接层,帧间MLP块形式化如下: ;

其中,表示逐元素非线性,W1和W2表示帧间MLP块中的全连接层,全连接层用于将特征图转化成一个一维的向量;Y是虚拟动作序列的中间特征矩阵,*代表全部,V表示虚拟动作帧,d代表特征维度的层数,d的范围是从1到D,LayerNorm表示归一化层,用于限制数据的范围;

帧内MLP块,作用于虚拟动作序列的中间特征矩阵Y的行,并在所有虚拟行为帧之间共享,帧内MLP块形式化如下: ;

其中,W3和W4表示帧内MLP块中的全连接层,M表示虚拟动作序列的更新特征矩阵;

步骤S3.2中,通过使用MLP‑mixer(·)函数代替帧间MLP块和帧内MLP块来简化点云外观图模块的公式,将虚拟动作序列的更新特征矩阵M的公式改写为:Mt=MLP ‑ Mixer(Vt);

根据虚拟动作序列的更新特征矩阵M的计算公式,点云外观图模块形式化如下: ;

其中,d表示特征维度的层数,V表示虚拟动作帧;

步骤S3.3中,点云运动图模块依次计算两个虚拟行为帧之间的运动能量,得到运动能量序列 ,如下式所示: ;

其中,V表示虚拟动作帧,Et表示两个虚拟行为帧之间的运动能量;

步骤S3.3中,点云运动图模块形式化如下:

 ;

其中,M表示虚拟动作序列的更新特征矩阵,V表示虚拟动作帧,Et表示两个虚拟行为帧之间的运动能量,d代表特征维度的层数。

2.根据权利要求1所述的一种基于点云特征图的实时三维行为识别方法,其特征在于:所述步骤S1具体包括以下步骤:

S1.1、将每个点的深度序列划分为等长的T个片段;

S1.2、在训练阶段,在每个片段中随机选择一帧;

S1.3、在测试阶段,在每个片段的固定时间位置选择一帧,获得具有T帧的新深度序列;

S1.4、将选取的点云帧中的像素位置和像素值转换为三维坐标(X,Y,Z),将T帧的新深度序列转换为原始点云序列;

S1.5、在每个原始点云帧中随机选取N个点,形成最终的点云序列 ,其中表示第t个点云帧的无序点集。

3.根据权利要求1所述的一种基于点云特征图的实时三维行为识别方法,其特征在于:所述步骤S2具体包括以下分步骤:

S2.1、执行两次来自Pointnet++的集合抽象操作,对每个点云帧中的点云进行下采样;

S2.2、使用PointNet层合并所有下采样点的信息,生成构成虚拟行为序列的虚拟行为帧;

S2.3、经过两次集合抽象操作后,将下采样点生成虚拟行为帧,沿时间维度变化的虚拟行为帧构成虚拟行为序列 ,T表示虚拟行为帧的数量,C表示虚拟行为序列的特征维度,R代表实数空间。

4.根据权利要求3所述的一种基于点云特征图的实时三维行为识别方法,其特征在于:所述步骤S2.1中,集合抽象操作包括采样层、分组层以及Pointnet层,采样层从输入点中选择一组点,定义局部区域的质心;分组层通过寻找质心周围的相邻点来构造局部区域集。