利索能及
我要发布
收藏
专利号: 2023116852693
申请人: 成都航空职业技术学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于AR教具的动作识别方法,其特征在于,包括以下步骤:

S1、采集用户在AR教具上的手势全局图像,并对手势全局图像进行裁剪,生成手势局部图像;

S2、构建手势识别模型;

S3、将手势局部图像输入至手势识别模型中,确定用户的手势动作;

所述S1包括以下子步骤:

S11、计算手势全局图像中各个像素点的颜色标签值;

S12、将颜色标签值最大的像素点作为标准像素点;

S13、计算手势全局图像中其余像素点的颜色标签值与标准像素点的颜色标签值之间的差值,得到颜色标签差值集合;

S14、根据颜色标签差值集合,确定手势全局图像中的无效像素点;

S15、将无效像素点从手势全局图像中剔除,生成手势局部图像;

所述S11中,手势全局图像中横坐标为x且纵坐标为y的像素点的颜色标签值Cx,y的计算公式为:;式中,x0表示手势全局图像中心所在像素点的横坐标,y0表示手势全局图像中心所在像素点的纵坐标,Rx,y表示横坐标为x且纵坐标为y的像素点的红色通道值,Gx,y表示横坐标为x且纵坐标为y的像素点的绿色通道值,Bx,y表示横坐标为x且纵坐标为y的像素点的蓝色通道值,log(·)表示对数函数, 表示横坐标为x0且纵坐标为y0的像素点的红色通道值,表示横坐标为x0且纵坐标为y0的像素点的绿色通道值, 表示横坐标为x0且纵坐标为y0的像素点的蓝色通道值;

所述S14包括以下子步骤:

S141、将颜色标签差值集合的所有颜色标签差值从小到大排序,并将排序前 个颜色标签差值作为第一颜色标签差值子集合;其中,L表示颜色标签差值集合的颜色标签差值个数, 表示向上取整函数;

S142、将颜色标签差值集合中除第一颜色标签差值子集合外其余颜色标签差值随机划分为第二颜色标签差值子集合和第三颜色标签差值子集合;

S143、根据第一颜色标签差值子集合、第二颜色标签差值子集合和第三颜色标签差值子集合,确定颜色标签阈值;

S144、将大于颜色标签阈值的颜色标签差值对应的像素点从手势全局图像中剔除,生成手势局部图像;

所述S143中,颜色标签阈值σ的计算公式为: ;

式中,um表示第一颜色标签差值子集合中第m个颜色标签差值,vn表示第二颜色标签差值子集合中第n个颜色标签差值,wk表示第三颜色标签差值子集合中第k个颜色标签差值,max (·)表示最大值函数,min (·)表示最小值函数,vave表示第二颜色标签差值子集合中所有颜色标签差值的均值,wave表示第三颜色标签差值子集合中所有颜色标签差值的均值,e表示指数。

2.根据权利要求1所述的基于AR教具的动作识别方法,其特征在于,所述S2中,手势识别模型包括输入层、第一特征卷积层、第二特征卷积层、运算器、全连接层和输出层;

所述输入层的输入端作为手势识别模型的输入端,其第一输出端和第一特征卷积层的输入端连接,其第二输出层和第二特征卷积层的第一输入端连接;所述第一特征卷积层的第一输出端和运算器的第一输入端连接,其第二输出端和第二特征卷积层的第二输入端连接;所述第二特征卷积层的输出端和运算器的第二输入端连接;所述运算器的输出端和全连接层的输入端连接;所述全连接层的输出端和输出层的输入端连接;所述输出层的输出端作为手势识别模型的输出端。

3.根据权利要求2所述的基于AR教具的动作识别方法,其特征在于,所述第一特征卷积层的表达式为: , ;

式中,G表示第一特征卷积层的输出,σ(·)表示激活函数,Z表示像素值矩阵,z1,1,..,zIJ表示手势局部图像中各个像素点的像素值,I表示手势局部图像的像素点行数,J表示手势局部图像的像素点行数,wp表示第一特征卷积层中第p个卷积核的权重,op表示第一特征卷积层中第p个卷积核的偏置,αp表示第一特征卷积层中第p个卷积核的步长,bp表示第一特征卷积层中第p个卷积核的通道数,P表示第一特征卷积层的卷积核个数。

4.根据权利要求2所述的基于AR教具的动作识别方法,其特征在于,所述第二特征卷积层的表达式为: ,;式中,H表示第二特征卷积层的输出,σ(·)表示激活函数,

Z表示像素值矩阵,z1,1,..,zIJ表示手势局部图像中各个像素点的像素值,I表示手势局部图像的像素点行数,J表示手势局部图像的像素点行数,Wq表示第一特征卷积层中第q个卷积核的权重,Oq表示第二特征卷积层中第q个卷积核的偏置,βq表示第二特征卷积层中第q个卷积核的步长,Bq表示第二特征卷积层中第q个卷积核的通道数,P表示第一特征卷积层的卷积核个数,Q表示第二特征卷积层的卷积核个数。

5.根据权利要求2所述的基于AR教具的动作识别方法,其特征在于,所述全连接层的表达式为: ;式中,T表示全连接层的输出, 表示全连接层中第k个神经元的偏置,K表示全连接层的神经元个数,P表示第一特征卷积层的卷积核个数,Q表示第二特征卷积层的卷积核个数,G表示第一特征卷积层的输出,H表示第二特征卷积层的输出。