欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2017108945775
申请人: 江南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于卷积神经网络的人机交互方法,其特征在于包括下述步骤:(1)训练神经网络:

1.1对视频库中手势动作逐帧识别,形成手轮廓图像;

1.2对识别的手轮廓图像执行通道求和操作;

1.3对求和操作得到的图像输入到卷积神经网络中进行训练,得到训练好的神经网络;

(2)手势判断:

2.1对摄像头采集的手势动作逐帧识别,形成手轮廓图像;

2.2对识别的手轮廓图像执行通道求和操作;

2.3对步骤2.2求和操作得到的图像输入到步骤1.3训练好的卷积神经网络中,判断出输入的手势动作属于什么类型手势;

2.4输出识别结果,进行相应手势操作。

2.根据权利要求1所述的基于卷积神经网络的人机交互方法,其特征在于:所述步骤

1.1和步骤2.1中形成手轮廓图像的步骤为:

1.1.1从视频库或摄像头中获取一段手势动作帧序列,假设总帧数为n;

1.1.2从帧序列中提取第i帧图像Ii,i的初始值为1;

1.1.3根据图像Ii的R G B三个分量中各自的平均值确定出图像Ii的平均灰度值,然后调整图像Ii每个像素的R G B值,使得调整后图像Ii的R G B三个分量中各自的平均值都趋于平均灰度值;

1.1.4使用Sobel算子对调整后的图像Ii进行边缘检测,并按边缘闭合区域分割图像,形成多个子图像集A(A1,A2,…,An),根据人体肤色灰度值数据Gskin,标记出图像Ii中的手轮廓Aj;

1.1.5将手轮廓外区域设置颜色值为0,轮廓内区域设置颜色值为INT(256×i/n),得到图像Si;

1.1.6如果不是最后一帧图像,则i=i+1,跳转到步骤1.1.2,如果是最后一帧,则完成手轮廓图像形成步骤。

3.根据权利要求2所述的基于卷积神经网络的人机交互方法,其特征在于:所述步骤

1.2中通道求和操作步骤为:

1.2.1对手势动作帧序列所有轮廓图像Si执行通道求和操作,求和得到各通道的求和图像PRj=∑SRi,PGj=∑SGi,PBj=∑SBi;下标R,G,B分别表示红绿蓝三个通道,把三个通道重新整合为RGB图像,即图像Pj。

4.根据权利要求2或3所述的基于卷积神经网络的人机交互方法,其特征在于:在步骤

1.1.2和步骤1.1.3之间对图像Ii进项中值滤波去噪操作,提高鲁棒性。

5.根据权利要求3所述的基于卷积神经网络的人机交互方法,其特征在于:所述图像Ii的颜色模式替换为CMYK或Lab模式,步骤1.1.3和步骤1.2.1对图像的操作分别针对C、M、Y、K或L、a、b通道进行。