利索能及
我要发布
收藏
专利号: 2012102849343
申请人: 深圳先进技术研究院
专利类型:发明专利
专利状态:已下证
更新日期:2024-12-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于双目立体视觉的人机交互方法,其特征在于,所述方法包括如下步骤:向投影面投影标定图像,采集所述投影面上的标定图像进行系统标定;

向投影面投影屏幕图像和发射红外光,所述红外光遇到人手后形成人手轮廓红外光斑;

采集所述投影面上的带人手轮廓红外光斑的图像,根据系统标定计算人手的指尖坐标,具体包括:通过两个图像采集装置同步采集投影面上的不带人手轮廓红外光斑的图像作为背景图像,通过两个图像采集装置同步采集投影面上的带人手轮廓红外光斑的图像作为当前帧图像,计算背景图像和当前帧图像的差分图像,根据系统标定计算差分图像中的人手的指尖坐标;

计算标定点的三维坐标,通过平面拟合方法计算投影面的空间平面方程;根据计算出的指尖三维坐标,判断所述指尖坐标是否符合空间平面方程,来判断指尖是否位于预设投影平面内;所述预设投影平面包括投影面以及距所述投影面一定距离范围内的空间;

当指尖位于预设投影平面内时,根据系统标定将指尖坐标转换为屏幕坐标,执行与所述屏幕坐标对应的触点的操作。

2.根据权利要求1所述的方法,其特征在于,所述向投影面投影标定图像,采集所述投影面上的标定图像进行系统标定的步骤具体包括:向投影面投影屏幕标定图像,形成投影标定图像;

采集所述投影标定图像进行立体标定;

采集所述投影标定图像进行平面映射标定。

3.根据权利要求2所述的方法,其特征在于,所述采集所述投影标定图像进行立体标定的步骤具体包括:通过两个图像采集装置采集多组不同角度和不同位置的投影标定图像;

检测所述投影标定图像中的标定点;

计算所述两个图像采集装置的内部参数和外部参数;

对所述内部参数和外部参数进行立体校正;

计算立体标定矩阵。

4.根据权利要求2所述的方法,其特征在于,所述采集所述投影标定图像进行平面映射标定的步骤具体包括:通过图像采集装置采集投影标定图像;

通过标定点检测算法提取投影标定图像中的标定点位置并将标定点排序;

根据屏幕标定图像中的标定点和投影标定图像中与屏幕标定图像对应的标定点的位置信息,计算投影变换矩阵。

5.根据权利要求1~4任一项所述的方法,所述标定图像为棋盘格图像。

6.根据权利要求1所述的方法,其特征在于,所述根据系统标定计算差分图像中的人手的指尖坐标的步骤具体包括:在差分图像中,通过边缘检测提取出手掌轮廓;

基于所述手掌轮廓得到凸包和凸缺陷,获取凸顶点、凸缺陷点和凸缺陷点的凹的深度,初步确定指尖候选点;

计算凸顶点和凸缺陷点的夹角,对所述夹角进行阈值判断从而进一步筛选指尖候选点;

根据所述手掌轮廓计算重心点,并计算指尖候选点与重心点的距离,对所述距离进行阈值判断从而确定指尖点,合并指尖点中连续的或者相邻的点,得到指尖点的像素位置坐标;

根据立体标定矩阵,由两个图像采集装置采集到的带人手轮廓红外光斑的图像中的指尖点像素位置坐标计算出指尖的三维坐标。

7.根据权利要求4所述的方法,其特征在于,所述根据系统标定将指尖坐标转换为屏幕坐标,执行与所述屏幕坐标对应的触点的操作的步骤中,所述指尖坐标为指尖二维坐标;

所述根据系统标定将指尖坐标转换为屏幕坐标,执行与所述屏幕坐标对应的触点的操作的步骤具体包括:将两个图像采集装置中的任一个采集到的带人手轮廓红外光斑的图像中的指尖二维坐标通过投影变换矩阵转换为屏幕坐标;

当所述指尖为单个指尖时,将与所述屏幕坐标对应的触点信息转换为鼠标信息并执行操作;当所述指尖为多个指尖时,激活多点触控操作模式,将与所述屏幕坐标对应的触点信息转换为多个触控点信息并执行操作。

8.一种基于双目立体视觉的人机交互系统,其特征在于,所述系统包括电子设备、投影装置、图像采集装置、红外光源和投影面,所述电子设备分别与所述投影装置和图像采集装置连接,所述图像采集装置带有红外滤光片,所述投影装置向投影面投影图像,所述红外光源向投影面发射红外光,所述图像采集装置采集投影面上的图像,所述系统采用权利要求

1~7任一项所述的方法进行人机交互。

9.根据权利要求8所述的系统,其特征在于,所述图像采集装置为两个带有红外滤光片的摄像机或者带有红外滤光片的双目摄像机;进行系统标定时移除所述摄像机的红外滤光片。