利索能及
我要发布
收藏
专利号: 2022103568425
申请人: 深圳市爱深盈通信息技术有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种行为识别方法,其特征在于,包括:

获取多帧行为视频图像;

对每帧行为视频图像进行人体骨骼点提取,以获取所述多帧行为视频图像各自对应的人体骨骼标识信息,一个人体骨骼标识信息用于指示一帧行为视频图像中的一个人体骨骼点;

根据所述多帧行为视频图像各自对应的人体骨骼标识信息,构建至少一张骨骼时序图,所述骨骼时序图用于反映不同人体骨骼点在同一帧行为视频图像中的位置分布信息,以及各人体骨骼点对应的时序变化信息,所述时序变化信息是指反映同一人体骨骼点在不同行为视频图像中的位置变化情况的信息;

将所述至少一张骨骼时序图输入至与所述至少一张骨骼时序图相匹配的行为识别模型中,以得到所述多帧行为视频图像对应的行为类型。

2.根据权利要求1所述的方法,其特征在于,所述根据所述多帧行为视频图像各自对应的人体骨骼标识信息,构建至少一张骨骼时序图,包括:确定所述多帧行为视频图像对应的至少一个时序集,每个时序集包括多个时序;

构建目标时序集对应的目标时序通道阵列,以得到至少一个时序通道阵列,其中,所述目标时序集为所述至少一个时序集中的任一时序集,所述目标时序通道阵列用于指示在所述目标时序集中的多个时序下属于同一个人的多个人体骨骼点在二维矩阵平面上的排布情况;

根据所述多帧行为视频图像各自对应的人体骨骼标识信息,按时序对所述至少一个时序通道阵列进行赋值填充,以得到所述至少一张骨骼时序图。

3.根据权利要求2所述的方法,其特征在于,所述构建目标时序集对应的目标时序通道阵列,包括:对属于同一个人的多个人体骨骼点进行结构重排,以使所述多个人体骨骼点分布在矩阵式二维平面上,以得到所述多个人体骨骼点对应的二维骨骼阵列;

根据所述目标时序集中的多个时序,对所述二维骨骼阵列中的每个阵列位置均进行时序扩充,得到所述目标时序通道阵列。

4.根据权利要求2所述的方法,其特征在于,所述至少一个时序集的数量为多个,每个时序集中的时序按时序先后顺序排列;其中,所述至少一个时序集中的第(k+1)个时序集中的前n个时序为所述至少一个时序集中的第k个时序集中的后n个时序,k和n均为正整数,1≤n<N,1≤k<K,N为一个时序集中包含的时序数量,K为所述至少一个时序集的数量。

5.根据权利要求2‑4任一项所述的方法,其特征在于,一个人体骨骼标识信息包括所述一个人体骨骼点在所述一帧行为视频图像中的位置坐标和所述位置坐标的置信度得分,所述置信度得分用于反映所述位置坐标对应的图像元素为人体骨骼点的可信度;

所述根据所述多帧行为视频图像各自对应的人体骨骼标识信息,按时序对所述至少一个时序通道阵列进行赋值填充,以得到所述至少一张骨骼时序图,包括:根据所述多帧行为视频图像各自对应的人体骨骼标识信息中的位置坐标和置信度得分,按时序分别对所述至少一个时序通道阵列进行赋值填充,以得到所述至少一张骨骼时序图。

6.根据权利要求2‑4任一项所述的方法,其特征在于,每帧行为视频图像对应的人体骨骼标识信息包括多个人体的人体骨骼标识信息;

所述根据所述多帧行为视频图像各自对应的人体骨骼标识信息,按时序对所述至少一个时序通道阵列进行赋值填充,以得到所述至少一张骨骼时序图,包括:根据目标人体对应的人体骨骼标识信息,按时序对所述至少一个时序通道阵列进行赋值填充,以得到所述目标人体对应的骨骼填充图,所述目标人体为所述多个人体中的任一人体;

根据所述多个人体各自对应的骨骼填充图,确定所述至少一张骨骼时序图。

7.根据权利要求1所述的方法,其特征在于,所述行为识别模型包括M个卷积层,所述M个卷积层中的第1个卷积层为所述行为识别模型的输入层,所述M个卷积层中的第i个卷积层与所述M个卷积层中的第(i‑1)个卷积层连接,所述第(i‑1)个卷积层中的通道数量大于所述第i个卷积层中的通道数量,M为大于4的正整数,1<i≤M。

8.一种行为识别装置,其特征在于,包括:

图像获取模块,用于获取多帧行为视频图像;

提取模块,用于对每帧行为视频图像进行人体骨骼点提取,以获取所述多帧行为视频图像各自对应的人体骨骼标识信息,一个人体骨骼标识信息用于指示一帧行为视频图像中的一个人体骨骼点;

图像构建模块,用于根据所述多帧行为视频图像各自对应的人体骨骼标识信息,构建至少一张骨骼时序图,所述骨骼时序图用于反映不同人体骨骼点在同一帧行为视频图像中的位置分布信息,以及各人体骨骼点的时序变化信息,所述时序变化信息是指反映同一人体骨骼点在不同行为视频图像中的位置变化情况的信息;

类型输出模块,用于将所述至少一张骨骼时序图输入至与所述至少一张骨骼时序图相匹配的行为识别模型中,以得到所述多帧行为视频图像对应的行为类型。

9.一种计算机设备,其特征在于,包括存储器以及处理器,所述处理器用于执行存储在所述存储器中的一个或多个计算机程序,所述处理器在执行所述一个或多个计算机程序时,使得所述计算机设备实现如权利要求1‑7任一项所述的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1‑7任一项所述的方法。