利索能及
我要发布
收藏
专利号: 2021106941583
申请人: 华侨大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种智能监控的手势识别方法,其特征在于,包含:获取图像序列;其中,所述图像序列包含有目标人物;

基于终端轻量化神经网络模型,构建物体检测模型;

通过所述物体检测模型,提取所述图像序列中的手部图像,并根据所述图像序列的时间生成手部图像序列;

根据所述手部图像序列,通过图像分类模型进行分类,以获得手势序列。

2.根据权利要求1所述的手势识别方法,其特征在于,所述终端轻量化模型为MnasNet模型;所述物体检测模型为SSD模型;

基于终端轻量化神经网络模型,构建物体检测模型,具体为:构建以MnasNet模型为主干网络的SSD模型;其中,所述主干网络依次包括:1层卷积核为3x3的Conv,1层卷积核为3x3的SpeConv,2层卷积核为3x3的MBConv,3层卷积核为5x5的MBConv,4层卷积核为3x3的MBConv,2层卷积核为3x3的MBConv,3层卷积核为5x5的MBConv,1层卷积核为3x3的MBConv,1层Pooling或者1层FC。

3.根据权利要求2所述的手势识别方法,其特征在于,通过所述物体检测模型,提取所述手部图像,具体为:

将所述图像序列逐帧输入所述主干网络,以使所述主干网络逐层对图像进行卷积;

提取卷积过程中的尺度为112×112×16、56×56×24、28×28×40、14×14×112、7×7×100的五个中间层进行回归分析,以获得所述手部图像的区域根据所述区域从所述图像中提取所述手部图像。

4.根据权利要求1所述的手势识别方法,其特征在于,获取图像序列具体为:接收目标区域的不同角度的多个监控视频;

根据多个所述监控视频,通过OpenPose模型获取所述目标区域中的各个人物的不同角度的骨架信息;

根据所述骨架信息,获取各个所述人物所在的图像区域;其中,所述图像区域为各个所述人物的骨架面积最大的图像所在的区域;

根据所述图像区域,从多个所述监控视频中,分别提取各个所述人物的图像序列。

5.一种智能监控的手势识别装置,其特征在于,包含:序列模块,用于获取图像序列;其中,所述图像序列包含有目标人物;

模型模块,用于基于终端轻量化神经网络模型,构建物体检测模型;

检测模块,用于通过所述物体检测模型,提取所述图像序列中的手部图像,并根据所述图像序列的时间生成手部图像序列;

分类模块,用于根据所述手部图像序列,通过图像分类模型进行分类,以获得手势序列。

6.根据权利要求5所述的手势识别装置,其特征在于,所述终端轻量化模型为MnasNet模型;所述物体检测模型为SSD模型;

所述模型模块具体用于:

构建以MnasNet模型为主干网络的SSD模型;其中,所述主干网络依次包括:1层卷积核为3x3的Conv,1层卷积核为3x3的SpeConv,2层卷积核为3x3的MBConv,3层卷积核为5x5的MBConv,4层卷积核为3x3的MBConv,2层卷积核为3x3的MBConv,3层卷积核为5x5的MBConv,1层卷积核为3x3的MBConv,1层Pooling或者1层FC。

7.根据权利要求6所述的手势识别装置,其特征在于,所述检测模块,包括:卷积单元,用于将所述图像序列逐帧输入所述主干网络,以使所述主干网络逐层对图像进行卷积;

分析单元,用于提取卷积过程中的尺度为112×112×16、56×56×24、28×28×40、14×14×112、7×7×100的五个中间层进行回归分析,以获得所述手部图像的区域提取单元,用于根据所述区域从所述图像中提取所述手部图像。

8.根据权利要求5所述的手势识别装置,其特征在于,所述序列模块包括:接收单元,用于接收目标区域的不同角度的多个监控视频;

骨架单元,用于根据多个所述监控视频,通过OpenPose模型获取所述目标区域中的各个人物的不同角度的骨架信息;

区域单元,用于根据所述骨架信息,获取各个所述人物所在的图像区域;其中,所述图像区域为各个所述人物的骨架面积最大的图像所在的区域;

图像单元,用于根据所述图像区域,从多个所述监控视频中,分别提取各个所述人物的图像序列。

9.一种智能监控的手势识别设备,其特征在于,包括处理器、存储器,以及存储在所述存储器内的计算机程序;所述计算机程序能够被所述处理器执行,以实现如权利要求1至4任意一项所述的智能监控的手势识别方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至4任意一项所述的智能监控的手势识别方法。