利索能及
我要发布
收藏
专利号: 2018102465783
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于体感相机手势识别的自由视点视频播放方法,其特征在于,所述的方法包括以下步骤:(1)获取一帧深度图像和人体骨骼数据:

通过体感相机实时获取一帧深度图像I1和对应的人体骨骼数据S1,I1的宽为w个像素点、高为h个像素点,S1包括右手臂关节、右手腕关节和右手掌三点的骨骼三维坐标数据;

(2)采用双边滤波方法对深度图像预处理:

用双边滤波方法对深度图像I1进行滤波处理,去除深度图像中的噪声干扰,优化深度图像中的边缘轮廓信息,将经过双边滤波的深度图像记为I’1;

(3)使用人体骨骼数据计算右手掌中心位置和右手臂位置:

将S1中的右手掌关节点的三维坐标作为右手掌中心位置坐标Hc(x1,y1,z1),右手臂位置的计算是通过手臂关节点Ar(x2,y2,z2)和手腕关节点Wr(x3,y3,z3)两点中的连线来获得;

(4)根据右手掌中心位置和预处理后的深度图像获得右手掌轮廓:

将Hc(x1,y1,z1)映射到深度图像I’1中得到对应的一点,取这一点的灰度值为基准,匹配深度图像I’1与这一点灰度值邻近的区域得到区域H,将H区域与I’1中其他区域灰度值二值化,即得到手掌轮廓图;

(5)提取右手掌轮廓特征和右手臂位置特征:

首先,判断H区域是否为五个凸点和四个凹点的多边形区域,若是则进一步判断指尖和指根,从而得到右手第一个指尖到右手掌中心的欧式距离xn和右手第二个指尖点到右手掌中心的欧式距离zn;若不是则通过Ar(x2,y2,z2)和Wr(x3,y3,z3)得到当前帧右手臂与代表水平向右方向的空间X轴夹角θ;

(6)利用手掌轮廓特征和手臂位置特征判断识别手势:

若步骤(5)得到当前帧右手第一个指尖到右手掌中心的欧式距离xn和右手第二个指尖点到右手掌中心的欧式距离zn,则将xn和zn与之前第m1帧中右手第一个指尖到右手掌中心的欧式距离xm1和右手第二个指尖到右手掌中心的欧式距离zm1对比,m1的取值范围为[10,

60],识别出放大手势或缩小手势,若不满足放大手势或缩小手势条件则结束当前帧处理;

若步骤(5)得到当前帧右手臂与代表水平向右方向的空间X轴夹角θ,判断当前帧中θ是否属于[85°,95°],若属于则判断之前第m2帧中的右手臂与代表水平向右方向的空间X轴夹角θm2识别出向左切换视点手势和向右切换视点手势,m2的取值范围为[10,60],若不满足视点切换手势条件则结束当前帧处理;

(7)将识别出的手势转换为相应的操作:

将识别出的放大手势或缩小手势转换为视频画面的放大或缩小操作;将识别出的向左切换视点手势或向右切换视点手势转换为视点的向左切换操作或视点的向右切换操作;结束当前帧数据的处理。

2.如权利要求1所述的一种基于体感相机手势识别的自由视点视频播放方法,其特征在于,所述步骤(4)中,将Hc(x1,y1,z1)映射到深度图像I’1中得到H’c(x’1,y’1,z’1),取H’c(x’1,y’1,z’1)的灰度值G1为基准,搜索匹配深度图像I’1中以H’c(x’1,y’1,z’1)为中心、宽为w’个像素点、高为h’个像素点的长方形区域,其中,w’=w/4,h’=h/3,在长方形区域内提取灰度值在[G1-10,G1+10]内的像素区域,将这个区域标记为H,最后将H区域的灰度值置为255其余背景区域的灰度值置为0,即得到右手掌轮廓图。

3.如权利要求1所述的一种基于体感相机手势识别的自由视点视频播放方法,其特征在于,所述步骤(5)中包含以下子步骤:(5-1)对H区域进行凸包检测,若H区域是一个具有五个凸点和四个凹点的多边形区域,则将H区域的所有凸点和凹点顺次交替编号为z[n],n=1,2...8,存在一条路径从z[0]到z[8],通过判断前一点到后一点路径的方向是向上还是向下区分出手掌轮廓中的凸点即为指尖和凹点即为指根,若前一点到后一点的方向是向下则此点即为指尖,若前一点到后一点的方向是向上则此点即为指根,统计出所有的指尖位置和之前确定的右手掌中心位置作为右手掌轮廓特征;计算右手第一个指尖到右手掌中心的欧式距离xn和右手第二个指尖点到右手掌中心的欧式距离zn;

(5-2)若H区域不存在五个凸点和四个凹点,则通过当前帧中点Ar(x2,y2,z2)和点Wr(x3,y3,z3)来提取右手臂与代表水平向右方向的空间X轴夹角θ:利用式(1)求出这两点的欧氏距离d,即为三维空间中这两点的实际距离,然后通过点Wr(x3,y3,z3)与Ar(x2,y2,z2)在空间X轴上的距离|x3-x2|和欧氏距离d求出当前帧右手臂与代表水平向右方向的空间X轴夹角θ。

4.如权利要求1所述的一种基于体感相机手势识别的自由视点视频播放方法,其特征在于,所述步骤(6)中包含以下子步骤:(6-1)若步骤(5)得到当前帧右手第一个指尖到右手掌中心的欧式距离xn和右手第二个指尖点到右手掌中心的欧式距离zn,则判断是否满足放大手势或缩小手势条件:若xn>xm1且zn>zm1,则将当前帧输出手势判定为放大手势;若xn

(6-2)若步骤(5)得到当前帧右手臂与代表水平向右方向的空间X轴夹角θ,则判断θ是否属于[85°,95°],若θ属于[85°,95°]则通过步骤(6-3)进一步判断是向左切换视点手势还是向右切换视点手势,否则结束当前帧的处理;

(6-3)取前第m2帧中的右手臂与代表水平向右方向的空间X轴夹角θm2:若θm2属于[20°,

80°],将当前帧输出手势判定为向左切换视点手势并根据式(2),

计算相应个单位的视点切换跨度Vleft;若θm2属于[100°,160°],将当前帧输出手势判定为向右切换视点手势并根据式(3),计算相应个单位的视点切换跨度Vright;若θm2不满足上述两种情况或之前第m2帧中的右手臂与代表水平向右方向的空间X轴夹角θm2不存在,则判定当前帧无视点切换手势,并结束当前帧数据的处理。

5.如权利要求1所述的一种基于体感相机手势识别的自由视点视频播放方法,其特征在于,所述步骤(7)中包含以下子步骤:(7-1)若识别出的手势为局部画面的放大手势,则通过以下方式实现播放操作:暂停当前播放画面,将当前手势右手掌中心所在的空间坐标映射到图像中的具体位置,然后将这个位置的画面通过相应的功能模块实现画面的局部放大,最后将放大后的画面输出到显示器中完成本次操作;

(7-2)若识别出的手势为局部画面的缩小手势,则通过以下方式实现播放操作:暂停当前播放画面,将当前手势右手掌中心所在的空间坐标映射到图像中的具体位置,然后将这个位置的画面通过相应的功能模块实现画面的局部缩小,最后将缩小后的画面输出到显示器中完成本次操作;

(7-3)若当前识别出的手势为向左切换视点手势,则发送向左切换手势信号,通过自由视点合成技术生成新的视点,最后将新的视点输出到显示器完成本次操作;

(7-4)若当前识别出的手势为向右切换视点手势,则发送向右切换手势信号,通过自由视点合成技术生成新的视点,最后将新的视点输出到显示器完成本次操作;

(7-5)结束当前帧数据的处理。