利索能及
我要发布
收藏
专利号: 2021112901348
申请人: 辽宁大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合头部姿态的三维眼球移动方向判断方法,其特征在于:该方法包含以下步骤:

步骤1:采集视频图像,通过IMU输出的俯仰角pitch,滚转角roll对图像进行修正,然后对人脸处理得到人脸特征点和眼球中心点在图像中的位置;

步骤2:在步骤1获取到的人脸所有特征点中,选取受头部姿态变化影响较小的点,然后计算头部姿态特征,利用坐标变换将眼球中心点和内眼角转换为其在三维空间中对应的位置;

步骤3:结合步骤2得到的位置和头部姿态特征,通过眼球中心点和内眼角在三维空间中坐标变化情况,对眼球移动方向进行判断,其中若是直视镜头的第一帧图像,则默认是正视,并将该距离作为标准值,作为后续帧图像中眼球移动方向的判断基准;在左转头时图像中的左眼会有遮挡,此时用右眼的计算结果代替左眼;在右转头时,图像中的右眼会有遮挡,此时用右眼的计算结果代替左眼;其余的头部姿态下,使用双眼同时计算,因为眼睛的移动是并行的,所以两者判断一致时结果为真,否则结果为假;计算眼球移动方向的方法为:设Xa(X1,Y1,Z1)和,Xb(X2,Y2,Z2)分别为眼球中心点和内眼角在头部刚体模型所在的世界坐标系下坐标;坐标差计算:px=X1‑X2;

py=Y1‑Y2;

其中,px为Xa和Xb在世界坐标系下Xw方向上的坐标差,py为Xa和Xb在世界坐标系下Yw方向上的坐标差;第一帧直视摄像头时为正常状态下计算的相对位置,设其为标准值,通过左右眼的px与标准值比较得出眼球的左右移动方向,py与标准值比较得出眼球的上下移动方向,结合Xw轴方向和Yw轴方向比较的结果,得出最终的眼球移动方向。

2.根据权利要求1所述的一种融合头部姿态的三维眼球移动方向判断方法,其特征在于:所述步骤1具体包括:步骤1.1:修正图像:使用相机采集视频,并通过装置内置的IMU输出的俯仰角pitch,滚转角roll对图像进行修正;

步骤1.2:获取人脸特征点:采用人脸检测器对图像中的人脸进行检测,将检测结果输入到面部特征点预测模型中,得到人脸特征点;

步骤1.3:确定眼球中心点位置:根据眼部特征点在图像中的位置分割出双眼图像,然后使用图像处理技术得到眼球中心位置,其具体步骤为:步骤1.3.1:将原RGB空间的双眼图像转换成HSV空间图像;

步骤1.3.2:设置H、S、V值范围分别设置为[0,180),[0,255),[0,46),然后进行二值化处理;

步骤1.3.3:设眼部图像宽为h,设置阈值为h/3,筛选符合瞳孔大小的区域,使用形态学图像处理中的开操作去除噪声区域,对剩余区域求取最小拟合圆,将其圆心视作眼球中心。

3.根据权利要求1所述的一种融合头部姿态的三维眼球移动方向判断方法,其特征在于:所述步骤2具体包括:获取头部姿态:p(u,v)为在像素坐标系o‑uv中坐标,p点对应的相机坐标系Oc‑XcYcZc下坐标为Ρc(Xc,Yc,Zc),p点对应的世界坐标系OW‑XWYWZW下坐标为Ρw(Xw,Yw,Zw);世界坐标系中Ρw(Xw,Yw,Zw)到像素坐标系中p(u,v)的坐标转换公式为:相机的内参矩阵,fx和fy表示相机的焦距,cx和cy表示相机的光学中心,单位

为像素,内参矩阵通过对相机标定已知;[R|T]为相机的外参矩阵,其中R为旋转矩阵,T为平移矩阵;选取位于脸部中心轴附近的特征点,通过这些特征点的二维坐标、相机的内参和已知的头部刚体模型所使用的世界坐标系下对应特征点的三维坐标,应用PnP求解方法求解相机的外参矩阵,通过相机的外参矩阵,可以求得相机坐标系中的头部相对于已知世界坐标系下的头部刚体模型的欧拉角,故而得到的头部姿态特征;最后估计像素坐标系o‑uv的眼球中心点和内眼角的坐标映射到世界坐标系OW‑XWYWZW中对应的坐标值,公式为:式中, 为像素坐标系下的坐标, 世界坐标系下坐标,Zc为将头部通用模型所使用的世界坐标系下任意点Xwc转换到相机坐标系中得到点的Zc轴坐标值,使用Zc代替眼球中心点和内眼角的Zc轴坐标值进行计算;转换公式为: