利索能及
我要发布
收藏
专利号: 2018108239803
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-07
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于三支决策优化智能座舱人机交互界面的方法,其特征在于,所述方法包括:S1、采集座舱内的手势视频,对其进行预处理,得到一系列静态的手势图像;

S2、对手势图像中的手势和背景进行分割处理,得到手势区域图像;

S3、为手势区域图像由粗粒度到细粒度进行多粒度表达;利用卷积神经网络提取手势区域图像的多粒度特征;

S4、从粗粒度到细粒度计算每一粒度手势区域图像分类到各类别的条件概率,利用三支决策序贯的完成手势识别;

S5、将识别后的手势进行语义转换,对人机交互界面根据语义转换后的手势识别结果进行相应的操作;

S6、采用加权求和的方式获得最佳粒度,以该最佳粒度作为最细粒度,重复执行步骤S3~S5。

2.根据权利要求1所述的一种基于三支决策优化智能座舱人机交互界面的方法,其特征在于,所述为手势区域图像由粗粒度到细粒度进行多粒度表达,对于同一手势区域图像,其多粒度信息表示方式具体如下:其中,Ai表示手势区域图像在不同粒度的信息,A1表示手势区域图像在粗粒度的信息,An表示手势区域图像在细粒度的信息,即细粒度包含粗粒度;i=1,2,...,n,n表示粒度数。

3.根据权利要求2所述的一种基于三支决策优化智能座舱人机交互界面的方法,其特征在于,所述利用卷积神经网络提取手势区域图像的多粒度特征包括,利用卷积神经网络中不同的卷积核,提取出手势区域图像的多粒度图像特征。

4.根据权利要求1所述的一种基于三支决策优化智能座舱人机交互界面的方法,其特征在于,所述步骤S4包括从对手势区域图像的粗粒度特征进行三支决策,若能确定手势的分类类别,则不继续细粒度的特征提取和进一步的三支决策,否则提取更细粒度的特征进行三支决策,直到确定手势区域图像的分类类别。

5.根据权利要求1所述的一种基于三支决策优化智能座舱人机交互界面的方法,其特征在于,所述步骤S6包括采用加权求和的方式获得最终每一粒度的人机交互界面优化结果,从而确定手势区域图像的最佳粒度;

Result=w×Acc+(1‑w)×TimeTime=T1+T2

其中,Result为手势区域图像的最佳粒度,Acc表示手势识别精度,Time表示手势识别过程中花费的时间,w表示权值,T1表示提取手势区域图像的多粒度特征的时间;T2表示识别手势的时间。

6.一种基于三支决策优化智能座舱人机交互界面的系统,其特征在于,所述系统包括电性连接的摄像头、座舱手势获取模块、手势图像分割模块、多粒度特征提取模块、三支决策手势识别模块、手势语义转换模块和最佳粒度获取模块;

所述座舱手势获取模块通过摄像头采集座舱内的手势视频,将视频帧转变为一系列的静态手势图像;

所述手势图像分割模块用于将手势图像的手势和背景进行分割处理,获取手势区域图像;

所述手势多粒度特征提取模块用于提取出手势区域图像从粗粒度到细粒度的多粒度特征;

所述三支决策手势识别模块用于依据所提取的多粒度特征在每一粒度对手势区域图像进行三支决策,从而将手势分类;

所述手势语义转换模块用于将分类后的手势进行语义转换;

所述最佳粒度获取模块用于获取最佳粒度,并将所述最佳粒度发送到多粒度特征提取模块。

7.根据权利要求6所述的一种基于三支决策优化智能座舱人机交互界面的系统,其特征在于,所述手势多粒度特征提取模块包括卷积神经网络单元,利用卷积神经网络单元中的不同卷积核,提取出手势区域图像的多粒度图像特征;多粒度信息表示方式具体为其中,Ai表示手势区域图像在不同粒度的信息,A1表示手势区域图像在粗粒度的信息,An表示手势区域图像在细粒度的信息,即细粒度包含粗粒度;i=1,2,...,n,n表示粒度数。

8.根据权利要求6所述的一种基于三支决策优化智能座舱人机交互界面的系统,其特征在于,所述三支决策手势识别模块包括对手势区域图像的粗粒度特征进行三支决策,若能确定手势的分类类别,则不继续细粒度的特征提取和进一步的三支决策,否则提取更细粒度的特征进行三支决策,直到确定出手势区域图像的分类类别。

9.根据权利要求6所述的一种基于三支决策优化智能座舱人机交互界面的系统,其特征在于,所述最佳粒度获取模块包括采用加权求和的方式获得最终每一粒度的人机交互界面优化结果,从而确定手势区域图像的最佳粒度;

Result=w×Acc+(1‑w)×TimeTime=T1+T2

其中,Result为手势区域图像的最佳粒度,Acc表示手势识别精度,Time表示手势识别过程中花费的时间,w表示权值,T1表示提取手势区域图像的多粒度特征的时间;T2表示识别手势的时间。