利索能及
我要发布
收藏
专利号: 2024114595571
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于瞳孔定位的斜视度测量装置,其特征在于,所述斜视度测量装置包括光学系统、机电控制系统以及图像处理系统,所述光学系统包括视近九点视标光路和视远光路;

所述机电控制系统包括用于依照角膜映光法控制对各个视标的点亮选择以及选择遮盖法测量的应用程序模块、用于实现角膜映光法与遮盖法的视标显示模块和用于对左眼或右眼进行遮盖控制的人眼遮盖模块;所述图像处理系统用于通过红外相机所采集的眼部图像使用全卷积神经网络进行图像分割以实现瞳孔定位,再通过一系列时序眼睛图像拟合三维瞳孔模型实现对瞳孔视线的估计,并实现对映光法、遮盖法测量结果的计算;

所述视近九点视标光路包括视近左眼九点位视标光路和视近右眼九点位视标光路,其中,视近左眼九点位视标光路包括依次连接的九个不同方位的视标、第一半透半反镜、左侧第一液晶光阀、左侧偏振膜、左侧第二半透半反镜和左侧第二液晶光阀,左侧红外光源对准左眼位置;所述视近右眼九点位视标光路包括依次连接的九个不同方位的视标、第一半透半反镜、右侧第一液晶光阀、右侧偏振膜、右侧第二半透半反镜和右侧第二液晶光阀,右侧红外光源对准右眼位置;

所述视远光路包括视远左眼光路和视远右眼光路,其中,视远左眼光路包括依次连接的视远视标、孔径光阑、视远透镜、视远半透半反镜、左侧第一液晶光阀、左侧偏振膜、左侧第二半透半反镜和左侧第二液晶光阀;所述视远右眼光路包括依次连接的视远视标、孔径光阑、视远透镜、视远半透半反镜、视远反射镜、右侧第一液晶光阀、右侧偏振膜、右侧第二半透半反镜和右侧第二液晶光阀;

左侧红外相机对准左侧第二半透半反镜的反射方向,用于拍摄左眼图像;右侧红外光源对准右眼位置,右侧红外相机对准右侧第二半透半反镜的反射方向,用于拍摄右眼图像。

2.如权利要求1所述的一种基于瞳孔定位的斜视度测量装置,其特征在于,所述斜视度测量装置还包括左微棱镜和右微棱镜,所述左微棱镜位于左侧第二半透半反镜与左侧第二液晶光阀之间,所述右微棱镜位于右侧第二半透半反镜与右侧第二液晶光阀之间,所述机电控制系统还包括用于控制左微棱镜和右微棱镜位移的微棱镜位移模块。

3.如权利要求1所述的一种基于瞳孔定位的斜视度测量装置,其特征在于,所述九个不同方位的视标包括中间、上、下、左、右、左上、右上、左下、右下九个方位的九个红光LED,相邻两个视标之间的距离相等。

4.如权利要求1 3之一所述的一种基于瞳孔定位的斜视度测量装置,其特征在于,所述~应用程序模块中,遮盖法的选择包括交替遮盖、遮盖去遮盖、棱镜交替遮盖法与棱镜遮盖去遮盖法;所述视标显示模块中,所述角膜映光法通过调节PWM信号的占空比将视标亮度调节为高亮度,并将九个视标依次点亮2s,顺序为左上、上、右上、左、中、右、左下、下、右下;所述遮盖法通过调节PWM信号的占空比将视标亮度调节为低亮度,再通过应用程序模块选择其中一个视标点完成遮盖,以实现对该眼位的斜视度测量。

5.如权利要求2所述的一种基于瞳孔定位的斜视度测量装置,其特征在于,所述微棱镜位移模块包括纵向位移电机、横向位移电机以及对向位移电机,以此实现对左微棱镜和右微棱镜的位移控制,左微棱镜和右微棱镜安装在对应的棱镜片插槽内,先由对向位移电机控制棱镜片插槽的间距以匹配被测者瞳距,在选择某一位置视标进行棱镜遮盖测试后,对纵向位移电机、横向位移电机进行控制,以达到人眼注视九点视标的视场要求。

6.如权利要求1 3之一所述的一种基于瞳孔定位的斜视度测量装置,其特征在于,所述~图像处理系统包括瞳孔识别模块和映光法识别模块,所述瞳孔识别模块使用深度学习方法,所述的深度学习方法使用全卷积神经网络来分割整个瞳孔区域,全卷积神经网络在手工注释的瞳孔图像上进行了训练,进而实现瞳孔定位,再通过一系列完成瞳孔定位的时序眼睛图像拟合三维瞳孔模型,最后完成对人眼视线的估计;通过收集红外相机拍摄红外光源补光下的眼部影像进行提取瞳孔图像,再由人工标注瞳孔区域以此完成神经网络的训练;所述映光法识别模块包括数字图像处理与深度学习神经网络,所述数字图像处理使用图像二值化处理对眼球上的映光点进行识别并标记,再对照通过神经网络识别的瞳孔位置信息,由两者位置关系计算出斜视度。

7.如权利要求6所述的一种基于瞳孔定位的斜视度测量装置,其特征在于,所述图像处理系统的实现过程如下:(1)将红外相机中心视作观察点o,通过在图像平面上构造一个穿过观察点o和瞳孔椭圆边线的圆锥体,然后找到这个圆锥体投影出去边线的圆形交点即为瞳孔圆,在任何给定的距离上,均能画出两个圆形交点即两个瞳孔圆,得到瞳孔位置、凝视矢量和瞳孔半径:(p+ + ‑ ‑ + + ‑,n ,r),(p ,n ,r),其中,p表示正向瞳孔圆的瞳孔位置,n表示正向瞳孔圆的凝视矢量,p‑表示负向瞳孔圆的瞳孔位置,n表示负向瞳孔圆的凝视矢量,r表示瞳孔圆的瞳孔半径;

(2)对于每个眼睛图像,考虑瞳孔圆( , , ),其中,i是图像的索引,表示第i图像瞳孔圆的瞳孔位置, 表示第i图像瞳孔圆的凝视矢量,表示第i图像瞳孔圆的瞳孔半径,每+ + ‑ ‑个瞳孔椭圆投影的圆锥体能画出两个瞳孔圆,且不知道两个圆( , ,r)或( , , )中+ ‑ +哪个是正确的,但对于两个瞳孔圆的法向量在平面上的投影是平行的: ∝ ,其中,+ ‑表示第i图像正向瞳孔圆的瞳孔位置, 表示第i图像正向瞳孔圆的凝视矢量, 表示第i‑ +图像负向瞳孔圆的瞳孔位置, 表示第i图像正向瞳孔圆的凝视矢量, 表示第i图像正向‑瞳孔圆的法向量在平面上的投影, 表示第i图像负向瞳孔圆的法向量在平面上的投影;

+ ‑ ±

(3)同样,两个瞳孔圆在平面上投影的瞳孔位置 和 之间的直线平行于 ,其中,+ ‑表示第i图像正向瞳孔圆在平面上的投影的瞳孔位置, 表示第i图像负向瞳孔圆在平±面上的投影的瞳孔位置, 表示第i图像正向瞳孔圆与负向瞳孔圆的法向量在平面上的投影,意味着,+ ‑ + ‑ +

= +s = +t ;

其中,s表示负向比例系数、t表示正向比例系数;

(4)通过计算直线的交点求得眼球投影面的中心,这些直线对应于投射的凝视方向:每条直线穿过投射的瞳孔中心并平行于投射的瞳孔法线,找到投影线的集合Li的交点,其中,Li={(x, y)=  +s };

其中,x与y表示投影空间中的坐标, 表示第i图像瞳孔圆在平面上的投影的瞳孔位置, 表示第i图像瞳孔圆在平面上的投影的法向量;

(5)通过计算,通过最小二乘法找到离每条线最近的点,

= ;

其中,表示眼球投影面的中心,表示单位矩阵, 表示 的转置;

然后反向缩放二维坐标到三维空间,即通过眼球投影面的中心 找到3D球体中心c;

(6)通过解得的眼球投影面的中心 以及3D球体中心c,发现每个瞳孔圆的法向量 都指向3D球体中心c的反方向,每个瞳孔圆在平面上的投影的法向量 都指向眼球投影面的中心 的反方向,由此得到一个在平面上的投影的法向量 指向眼球投影面的中心 的反方向的瞳孔圆( , , );

(7)由于无法确定瞳孔圆的大小,因此无法直接使用 ,考虑引入候选瞳孔圆中心 i与候选瞳孔圆半径 i,候选瞳孔圆中心 i位于穿过观察点o与瞳孔圆中心 的连线,同时认为圆( i, , i) 与球心为c的3D球体相切,通过从球体中心c到 i的凝视线观测点o与瞳孔圆中心 的连线相交找到候选瞳孔圆中心 i;

(8)由于3D中的直线肯定不会相交,再次找到最小二乘交点,然后通过找出从球体中心到每个瞳孔中心的平均距离来计算球体半径R,R=mean({Ri= i‑c i});

其中,R表示球体半径,Ri表示从第i个瞳孔圆中心 i到球体中心c的距离,i第i图像的瞳孔圆中心,c表示3D球体的中心;

(9)由于距离与大小的模糊性,无法保证瞳孔圆( , , )位于球体上,因此引入新的圆( , , ) ,其中,

2 2

‑c = R;

= s ;

=c+R ;

= ;

其中, 为角度缩放后的 ,表示表示第i个瞳孔圆的在三维空间中的z 坐标, 表示第i个瞳孔圆角度缩放后在三维空间中的z 坐标,为找到 ,找到一个缩放因子s,使得s位于球体表面(c,R),它可以计算为线与球相交,得出两个缩放因子解s1、s2,取最小的缩放因子,运算得到 和 ;

(10)将在3D模型拟合和凝视估计期间考虑的每个图像帧的置信度因子 纳入其中;对眼球投影面的中心 和球体半径R的置信度加权拟合公式表示为,‑

R= ;

其中,表示眼球投影面的中心, 表示第i图像的置信度因子, 表示第i图像与球体相切的瞳孔圆中心;

再通过三维眼球凝视矢量之间的夹角计算瞳孔偏移角度进而计算出被测者斜视度、棱镜度。

8.一种如权利要求1所述的基于瞳孔定位的斜视度测量装置实现的测量方法,其特征在于,所述测量方法包括角膜映光法和遮盖法,所述角膜映光法的过程如下:步骤1.1,记录被测者信息,将被测者头部固定,双眼放置于第二液晶光阀前,通过红外光源对眼部进行补光,在应用程序模块中选择角膜映光法开始测量,摄像头开始收集被测者眼部图像信息;

步骤1.2,将红光LED视标调节为高亮度,并将九个红光LED视标依次点亮2s,顺序为左上、上、右上、左、中、右、左下、下、右下;

步骤1.3,通过图像处理系统将被测者分别注视九点视标的眼部图像进行处理,定位映光点与瞳孔中心的距离,根据偏离1mm,即相当于斜视度7度的原理,计算被测者在九个方位的斜视度情况,将测量结果保存并显示;

所述遮盖法的过程如下:

步骤2.1,记录被测者信息,将被测者头部固定,双眼放置于第二液晶光阀前,通过红外光源对眼部进行补光,在应用程序中选择一种遮盖法并选择某一方位视标开始测量,摄像头开始收集被测者眼部图像信息;

步骤2.2,通过人眼遮盖模块执行该遮盖法对应的遮盖程序,通过对左右眼遮盖的控制,实现对人眼视觉融合的打破,遮盖程序完成后暂停图像采集,通过图像处理系统计算瞳孔中心位置信息;

步骤2.3,通过计算瞳孔中心位置的偏差角度,换算斜视度以及棱镜度,将测量结果保存并显示。

9.如权利要求8所述的测量方法,其特征在于,所述步骤2.2中,当遮盖程序选用棱镜交替遮盖法或棱镜遮盖去遮盖法时,调用微棱镜位移模块,将微棱镜位移至与被测者瞳距适配位置,同时与所选视标适配位置后通过人眼遮盖模块完成遮盖程序。