利索能及
我要发布
收藏
专利号: 2021112968812
申请人: 辽宁大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合头部姿态和眼球跟踪的实时视线推断方法,其特征在于:包括以下步骤:步骤1:检测图像中人脸区域及人眼区域,在人脸区域中确定左眼与右眼区域位置;

步骤2:确定眼球中心坐标以及参考点坐标,对特征坐标进行光流跟踪;

步骤3:检测并记录当前头部姿态特征以及头部移动轨迹;

步骤4:根据当前特征跟踪点之间的距离比例及角度信息,结合头部姿态以及轨迹变化,推断实时视线方向;

所述步骤2确定眼球中心坐标以及脸部参考坐标点,对特征坐标进行光流跟踪进行跟踪的具体过程如下:步骤2.1:根据左右眼位置,分别取左右眼睛中心作为眼球跟踪点,利用光流进行实时跟踪;

步骤2.2:取人脸区域内,位于同平面中两眼球跟踪点的中心作为中心点C,利用光流追踪算法进行跟踪;

所述步骤3检测当前的头部姿态特征以及移动轨迹包括以下过程:

步骤3.1:通过HSV的H分量特征,对图像中的肤色进行分割;

步骤3.2:对分割区域进行人脸级联检测,并对头部区域进行裁剪,对人脸肤色区域进行椭圆拟合;

步骤3.3:对拟合椭圆进行PCA主成分分析,计算拟合椭圆长轴A1与短轴A2,获得比例λ= A1 /A2,并以拟合椭圆中心为坐标系原点,椭圆长轴为y轴,短轴为x轴构建人脸坐标系;

步骤3.4:在人脸区域,对初始状态的坐标系原点进行光流跟踪,设定为追踪点o,并设置半径r= A1/10的误差范围;

步骤3.5:根据拟合椭圆旋转角度、跟踪点位移、长短轴比例推断头部姿态及轨迹。

2.根据权利要求1所述的融合头部姿态和眼球跟踪的实时视线推断方法,其特征在于:所述步骤1中,在人脸区域中确定左眼与右眼区域及位置包括以下过程:

步骤1.1:获取初始时刻人眼正视状态的图像信息;

步骤1.2:采用人脸级联检测算法,确定人脸ROI区域;

步骤1.3:通过生物特征划分左眼ROI区域和右眼ROI区域;

步骤1.4:分别在左眼ROI区与右眼ROI区采用人眼级联检测算法,确定左右眼实际位置。

3.根据权利要求1所述的融合头部姿态和眼球跟踪的实时视线推断方法,其特征在于:所述步骤3.5对根据拟合椭圆旋转角度、跟踪点位移、长短轴比例推断头部姿态的具体过程如下:步骤3.5.1:对拟合椭圆利用PCA主成分分析计算旋转角度∠1,推断当前歪头状态,设定范围角度正值θ,当旋转角度∠1小于‑θ时,姿态为左歪头,角度∠1大于θ时,姿态为右歪头,若∠1处在‑θ与θ之间,则是正常的直立状态;

步骤3.5.2:对人脸坐标系重新划分四个区域,根据长短轴比例λ变化,结合跟踪点o位于人脸坐标系内的坐标变化,推断头部转头的姿态变化:当λ增大且跟踪点o位于第一区域,姿态为抬头,当λ增大且跟踪点o位于第三区域,姿态为低头,当λ减小且跟踪点o位于第二区域,姿态为左转头,当λ减小且跟踪点o位于第四区域,姿态为右转头;

步骤3.5.3:确定头部拟合椭圆的中心坐标,根据前后两帧的相对位移,实时绘制并判断头部移动轨迹;

步骤3.5.4:根据歪头姿态、转头姿态、移动方向组合生成头部姿态。

4.根据权利要求1所述的融合头部姿态和眼球跟踪的实时视线推断方法,其特征在于:所述步骤4根据当前特征跟踪点之间的距离比例及角度信息,结合头部姿态以及轨迹变化,推断实时视线方向包括以下过程:步骤4.1:上述的当前特征跟踪点之间的距离比例及角度信息,即距离比例为当前帧左眼球中心同中心点C的连线Li与右眼球中心点同中心点C连线Ri的比例γi、角度信息为当前帧双眼间连线Si与左眼球中心同中心点C的连线Li生成的夹角αi ,i=1,2,3…对应当前为第i帧图像信息;

并设置距离比例变化的允许误差值为n,夹角角度变化的允许误差值为m,设置γ为初始状态左眼球中心点同中心点C的连线Li与右眼球中心点同中心点C连线Ri的比例,设置α为初始状态双眼间连线Si和左眼球中心点同中心点C的连线Li生成的夹角;

跟踪点置于同一平面,根据双眼跟踪点之间的角度信息和距离比例的关系推断眼球的运动方向,包括中心、上、下、左、右、左上、左下、右上、右下九种方向;

通过记录跟踪过程中每一帧的距离比例γi以及夹角αi,带入公式(1)、(2)获得当前取值result,当result等于0、1、2、3、4、5、6、7、8时,分别对应的推断眼球方向为中、右、左、上、下、左下、左上、右下、右上;

当“直视”状态时,其夹角α的范围为‑m至m度,距离比例γi的范围为γ‑n至γ+n;当“左看”、“右看”状态时,其夹角α的变化范围不变,为‑m至m度,距离比例γi发生变化,当“左看”时,γi小于γ–n,当“右看”时,γi大于γ+n;当“上看”、“下看”状态时,夹角α范围发生变化,“上看”时为大于m,距离比例γi为γ‑n至γ+n,“下看”时为小于‑m,距离比例γi为γ‑n至γ+n;当“左上看”、“左下看”、“右上看”、“右下看”时,夹角α的角度范围与距离比例γi的范围与初始时刻相比均发生变化,“左上看”时,夹角α范围为大于m,距离比例γi为大于γ+n,“左下看”时,夹角α范围为小于‑m,距离比例γi为大于γ+n,“右上看”时,夹角α范围为大于m,距离比例γi为小于γ‑n,“右下看”时,夹角α范围为小于‑m,距离比例γi为小于γ‑n;

步骤4.2:通过头部姿态方向结合眼球移动方向,推断当前实际视线方向:若视线方向为前方,则可能为1)头部姿态为左转头,眼球移动为右看,2)头部姿态为右转头,眼球方向为左看,3)头部姿态为抬头,眼球移动为下看,4)头部姿态为低头,眼球方向为上看;以此类推,对头部姿态与视线方向进行组合,可将实际视线方向分为9类,分别为前方、上方、下方、左方、右方、左上方、左下方、右上方、右下方,对实时视线进行推断。