利索能及
我要发布
收藏
专利号: 2021107050196
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多视角图像的手势姿态预测方法,其特征在于:包括以下过程:

获取至少两个视角的手势图像数据;

根据获取的各个视角手势图像和各个视角对应的预设姿态预测模型,得到各个手势图像预测角度;保持所要预测的右手笛卡尔坐标系手势并将姿态传感器贴于手掌内侧,使姿态传感器的X、Y、Z轴正方向分别与右手食指、中指和拇指方向保持一致,建立姿态传感器的坐标轴与手势之间的对应关系,控制器实时采集姿态传感器输出的角度数据,变换预设手势在空间中的不同角度,并以姿态传感器输出角度数据;

对所采集的带有姿态角度数据的手势图像进行整理,将拍摄的所有彩色图像处理为灰度图像,使数据集中仅包含灰度图像和红外灰度图像这两种数据类型相同的单通道图像,处理后完成笛卡尔坐标系手势图像数据集的建立;使用建立的笛卡尔坐标系手势图像数据集训练深度集成手势姿态预测模型,所述预测模型是以卷积神经网络为基学习器进行回归预测,结合集成学习的思想,训练得到多个卷积神经网络基学习器,采用集成学习的组合策略,将各个基学习器的输出结果进行综合,得到一个深度集成手势姿态预测模型;使用的是一种昼夜两用摄像头组成的双视角摄像头,采集的是包含左右两个视角的手势图像,可对左右两个视角的手势图像分别建立深度集成手势姿态预测模型,并对两个预测模型预测输出结果的均值作为最终预测数据;

以各个手势图像预测角度的平均值为最终手势角度;

采用Adaboost算法结合卷积神经网络,构建姿态预测模型;

卷积神经网络采用Resnet或Alexnet模型作为基学习器,设置迭代次数和学习率,选取均方误差函数为损失函数,使用梯度下降方法对模型参数进行更新和优化,拟合一个姿态预测模型,训练得到第k个卷积神经网络的基学习器;

其中,预设姿态预测模型的训练中,计算第k个卷积神经网络在训练集上的最大误差、每个样本的相对误差、第k个卷积神经网络的回归误差率和弱学习器的权重系数,根据得到的最大误差、相对误差、回归误差率和弱学习器的权重系数进行样本权重更新。

2.如权利要求1所述的基于多视角图像的手势姿态预测方法,其特征在于:

迭代K次后,得到K个的卷积神经网络回归预测模型,并且得到K个基学习器的权重系数,选取各个弱学习器权重的中位数,采用权重中位数对应的弱学习器作为预测模型的强学习器,根据得到的强学习器得到最终的姿态预测模型。

3.如权利要求1所述的基于多视角图像的手势姿态预测方法,其特征在于:

更新后的样本权重为:

其中,Wki为原样本权重,αk为弱学习器的权重系数, eki为样本

的相对误差。

4.如权利要求1所述的基于多视角图像的手势姿态预测方法,其特征在于:

采用Bagging算法构建姿态预测模型;

卷积神经网络采用Resnet或Alexnet模型作为基学习器,设置迭代次数和学习率,选取均方误差函数为损失函数,使用梯度下降方法对模型参数进行更新和优化,拟合一个姿态预测模型,训练得到第k个卷积神经网络的基学习器。

5.如权利要求4所述的基于多视角图像的手势姿态预测方法,其特征在于:

迭代K次后,得到K个的卷积神经网络回归预测模型,K个卷积神经网络预测模型为基学习器,使用Bagging算法对基学习器进行综合,使用K个卷积神经网络基学习器的预测平均值作为姿态预测模型的输出。

6.如权利要求1所述的基于多视角图像的手势姿态预测方法,其特征在于:

预设姿态预测模型的训练中,手势图像类型包括有光照下的彩色图像以及无光照下的红外灰度图像,将白天拍摄的彩色图像处理为灰度图像;

手势图像内容至少包含裸手、佩戴半指手套和佩戴全指手套的不同情况下的手势图像。

7.一种基于多视角图像的手势姿态预测系统,其特征在于:包括:

数据获取模块,被配置为:获取至少两个视角的手势图像数据;

姿态预测模块,被配置为:根据获取的各个视角手势图像和各个视角对应的预设姿态预测模型,得到各个手势图像预测角度;保持所要预测的右手笛卡尔坐标系手势并将姿态传感器贴于手掌内侧,使姿态传感器的X、Y、Z轴正方向分别与右手食指、中指和拇指方向保持一致,建立姿态传感器的坐标轴与手势之间的对应关系,控制器实时采集姿态传感器输出的角度数据,变换预设手势在空间中的不同角度,并以姿态传感器输出角度数据;

对所采集的带有姿态角度数据的手势图像进行整理,将拍摄的所有彩色图像处理为灰度图像,使数据集中仅包含灰度图像和红外灰度图像这两种数据类型相同的单通道图像,处理后完成笛卡尔坐标系手势图像数据集的建立;使用建立的笛卡尔坐标系手势图像数据集训练深度集成手势姿态预测模型,所述预测模型是以卷积神经网络为基学习器进行回归预测,结合集成学习的思想,训练得到多个卷积神经网络基学习器,采用集成学习的组合策略,将各个基学习器的输出结果进行综合,得到一个深度集成手势姿态预测模型;使用的是一种昼夜两用摄像头组成的双视角摄像头,采集的是包含左右两个视角的手势图像,可对左右两个视角的手势图像分别建立深度集成手势姿态预测模型,并对两个预测模型预测输出结果的均值作为最终预测数据;

姿态确定模块,被配置为:以各个手势图像预测角度的平均值为最终手势角度;采用Adaboost算法结合卷积神经网络,构建姿态预测模型;

卷积神经网络采用Resnet或Alexnet模型作为基学习器,设置迭代次数和学习率,选取均方误差函数为损失函数,使用梯度下降方法对模型参数进行更新和优化,拟合一个姿态预测模型,训练得到第k个卷积神经网络的基学习器;

其中,预设姿态预测模型的训练中,计算第k个卷积神经网络在训练集上的最大误差、每个样本的相对误差、第k个卷积神经网络的回归误差率和弱学习器的权重系数,根据得到的最大误差、相对误差、回归误差率和弱学习器的权重系数进行样本权重更新。

8.一种计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时实现如权利要求1‑6任一项所述的基于多视角图像的手势姿态预测方法中的步骤。

9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1‑6任一项所述的基于多视角图像的手势姿态预测方法中的步骤。