利索能及
我要发布
收藏
专利号: 2012102613788
申请人: 深圳先进技术研究院
专利类型:发明专利
专利状态:已下证
更新日期:2024-12-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于视线判断的人机交互方法,实现用户对电子设备的操作,其特征在于,包括:通过摄像头获取人脸图像;

对所述图像进行人眼区域检测,根据检测到的人眼区域对瞳孔中心进行定位;

计算图像坐标与电子设备屏幕坐标系之间的对应关系;

跟踪瞳孔中心位置,根据所述对应关系计算人眼在电子设备屏幕上的视点坐标;

检测眨眼动作或闭眼动作,根据检测到的眨眼动作或闭眼动作发送相应的控制命令给电子设备。

2.根据权利要求1所述的方法,其特征在于,所述对所述图像进行人眼区域检测的步骤具体包括:采用直方图投影法、Haar检测法、帧差法或者模板匹配法对所述图像进行人眼区域的检测。

3.根据权利要求1所述的方法,其特征在于,所述根据检测到的人眼区域对瞳孔中心进行定位的步骤具体包括:定义眼睛的等照度线;

计算眼睛的等照度线曲率,得到眼睛的等照度曲线图;

计算等照度曲线图中满足等照度线曲率的圆的中心。

4.根据权利要求3所述的方法,其特征在于,所述计算等照度曲线图中满足等照度线曲率的圆的中心的步骤具体包括:计算等照度线的中心的位移矢量;

采用投票法将所述位移矢量映射到累加器中形成等照度线中心图;

将累加器与高斯核作卷积运算,使每个位移矢量均形成一个单一的中心估计;

计算每个位移矢量的权重,选取权重值较大的位移矢量对应的等照度线作为特定等照度线;

选取等照度线中心图中特定等照度线中心附近的较强响应区内的候选响应中强度最大的点作为瞳孔中心。

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:采用下采样方法由通过摄像头获取的图像构造出图像金字塔,对图像金字塔中的每一层图像求得等照度线中心图金字塔,将等照度线中心图金字塔中的等照度线中心图缩放到预定大小并线性相加得到最终的等照度线中心图。

6.根据权利要求1所述的方法,其特征在于,所述计算图像坐标与电子设备屏幕坐标系之间的对应关系的步骤具体包括:在电子设备屏幕上设定至少4个标定点,将屏幕上所设定的标定点的坐标保存在目标矩阵中;

依次记录人眼注视所述标定点时图像中瞳孔中心位置坐标,将所述瞳孔中心位置坐标保存在设定矩阵中;

计算设定矩阵与目标矩阵之间坐标的对应关系。

7.根据权利要求6所述的方法,其特征在于,所述标定点设有4个,所述4个标定点分别为电子设备屏幕的4个角点。

8.根据权利要求4所述的方法,其特征在于,所述跟踪瞳孔中心位置,根据所述对应关系计算人眼在电子设备屏幕上的视点坐标的步骤具体包括:以所述对所述图像进行人眼区域检测,根据检测到的人眼区域对瞳孔中心进行定位的步骤得到的瞳孔中心作为中心初始化搜索窗口;

将所述窗口的大小设为人眼区域的一半;

进行迭代计算;

在等照度线中心图上聚合到投票密度最大的区域,选取距离聚合窗口最近的中心作为当前图像的瞳孔中心;

计算两只眼睛瞳孔中心的中间位置坐标,根据所述对应关系计算与中间位置坐标对应的电子设备屏幕坐标。

9.根据权利要求1所述的方法,其特征在于,所述检测眨眼动作或闭眼动作,根据检测到的眨眼动作或闭眼动作发送相应的控制命令给电子设备的步骤具体包括:采用分类器区分眼睛的状态;

检测眨眼动作或闭眼动作;

在眼睛处于特定状态时,根据检测到的该特定状态存续期间的眨眼动作或闭眼动作发送相应的控制命令给电子设备。

10.根据权利要求9所述的方法,其特征在于,

所述采用分类器区分眼睛的状态的步骤具体包括:采用分类器判断眼睛的凝视持续时间是否在100至200毫秒范围内,在所述时间范围内时判定眼睛的状态为凝视;

所述在眼睛处于特定状态时,根据检测到的该特定状态存续期间的眨眼动作或闭眼动作发送相应的控制命令给电子设备的步骤具体包括:在眼睛处于凝视状态时,根据检测到的凝视时间段中的眨眼动作或闭眼动作发送相应的控制命令给电子设备。

11.根据权利要求10所述的方法,其特征在于,所述检测眨眼动作或闭眼动作;眼睛处于凝视状态时,根据检测到的凝视时间段中的眨眼动作或闭眼动作发送相应的控制命令给电子设备的步骤具体包括:检测是否有单只眼睛眨眼和连续眨眼次数;

当眼睛处于凝视状态且在该凝视时间段中有单只眼睛眨眼时,根据预设的连续眨眼次数和控制命令的对照关系,发送相应的控制命令给电子设备。

12.根据权利要求10所述的方法,其特征在于,所述检测眨眼动作或闭眼动作;眼睛处于凝视状态时,根据检测到的凝视时间段中的眨眼动作或闭眼动作发送相应的控制命令给电子设备的步骤具体包括:检测是否有单只眼睛闭眼和闭眼时间;

当眼睛处于凝视状态且在该凝视时间段中有单只眼睛闭眼时,根据预设的闭眼时间和控制命令的对照关系,发送相应的控制命令给电子设备。

13.根据权利要求1~12任一项所述的方法,其特征在于,所述摄像头为电子设备自带的前置摄像头,所述电子设备为手机或平板电脑。

14.一种基于视线判断的人机交互系统,实现用户对电子设备的操作,所述系统包括电子设备和摄像头,所述电子设备具有屏幕,其特征在于,所述系统采用权利要求1~13任一项所述的方法进行人机交互。