利索能及
我要发布
收藏
专利号: 2025105046207
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多像面眼动追踪的动态虚拟像面调节装置,其特征在于,所述调节装置包括多像面眼动追踪系统、透镜‑屏幕调节系统、控制系统以及显示系统,所述多像面眼动追踪系统利用红外摄像机捕捉用户眼部图像,经过图像采集模块、瞳孔检测模块、椭圆拟合模块、标定模块和多项式拟合模块计算,转换得到精准的注视点坐标,并将数据传输至控制系统;

所述控制系统接收注视点信息,解析当前所需的像面深度,并生成透镜调整指令,发送至透镜‑屏幕调节系统;

所述透镜‑屏幕调节系统根据控制指令,驱动透镜和屏幕进行物理调整,同时利用传感反馈机制实时监测调整精度,确保虚像位置与用户注视焦点匹配;

所述显示系统结合控制系统提供的深度信息,动态调整动画画面,使其与用户的注视深度同步变化,增强视觉沉浸感。

2.如权利要求1所述的基于多像面眼动追踪的动态虚拟像面调节装置,其特征在于,所述多像面眼动追踪系统中,所述图像采集模块通过调用主动式红外摄像机获取用户眼部瞳孔图像,所述瞳孔检测模块用于进行瞳孔轮廓的标定,所述椭圆拟合模块用于检测置信度最高的瞳孔中心位置,所述标定模块结合已知参考点进行坐标转换,所述多项式拟合模块对数据进行优化处理,并最终将瞳孔数据转换为注视点坐标。

3.如权利要求2所述的基于多像面眼动追踪的动态虚拟像面调节装置,其特征在于,所述的图像采集模块的实施流程如下:步骤111,选用短焦摄像头以及红外灯珠;

步骤112,将短焦摄像头及红外灯珠进行连接;

步骤113,调整短焦摄像头以及红外灯珠的位置,确保眼部被完全照亮;

所述的瞳孔检测模块的实施流程如下:

步骤121,根据瞳孔阈值算法判断瞳孔检测是否失败,若检测失败则需要重复步骤113,确保瞳孔检测的成功;

步骤122,将输入的视频转化为视频帧,逐帧处理:

对输入的原始图像进行裁剪和缩放操作,以统一图像尺寸并便于后续处理,通过计算当前图像的宽高比 Current_ratio与目标宽高比 Desire_ratio,若Current_ratio>Desire_ratio,表明图像过宽,则计算新的宽度 New_width = int(Desire_ratio *Current_ratio),并在图像宽度方向上从中心偏移 loc_w = (current_width ‑ New_width)//2 的位置进行裁剪,得到裁剪后的图像cropped_img若 Current_ratio<=Desire_ratio,即图像过高,计算新的高度 New_height = int(current_width/Desire_ratio),在图像高度方向上从中心偏移loc_h= (current_height ‑ New_height)//2 的位置裁剪,得到 cropped_img = image[loc_h: loc_h + New_height, :];最后,使用 cv2.resize 函数将裁剪后的图像调整为目标尺寸 (width, height);

步骤123,存储图像中A、B、C三种不同区域类似的二值图像:将裁剪并缩放后的图像转换为灰度图像,对灰度图像应用严格的二值化阈值;通过将最暗像素值Darkest_ value加上阈值增量 ,计算得到阈值Threshold = Darkest_ value + ;使用cv2.threshold函数将图像二值化,小于该阈值的像素置为255,其余置为0,得到严格阈值处理后的图像Thresholded_image_1,即A;然后,以最暗点Darkest_point为中心,边长为 创建一个正方形掩膜,将该正方形区域外的像素值设为 ,对 Thresholded_image_1进行掩膜处理;

将最暗像素值Darkest_value加上阈值增量 ,计算得到阈值Threshold=Darkest_value+ ,对灰度图像进行二值化处理得到 Thresholded_image_2,即B,以最暗点为中心,边长 进行掩膜处理;

将最暗像素值Darkest_value加上阈值增量 ,计算得到阈值Threshold=Darkest_value+ ,对灰度图像进行二值化处理得到 Thresholded_image_3,即C;再以最暗点为中心,边长 进行掩膜处理;

并将Thresholded_image_1、Thresholded_image_2、Thresholded_image_3进行保存;

步骤124,检测A、B、C三种不同区域的颜色阈值范围;

步骤125,选择平均颜色阈值波动较小的作为最可信的瞳孔图像。

4.如权利要求2所述的基于多像面眼动追踪的动态虚拟像面调节装置,其特征在于,所述的椭圆拟合模块的实施流程如下:步骤131,对每种二值图像进行膨胀处理,以增强目标区域:对经过多阈值处理和掩膜后的图像,首先使用形态学膨胀操作来增强图像中的轮廓特征;然后,通过cv2.findContours函数查找图像中的轮廓;接着,对找到的轮廓进行过滤,遍历所有轮廓,计算每个轮廓的面积area=cv2.contourArea(contour),若 area>=pixel,pixel为预设阈值,则进一步计算轮廓的外接矩形的宽w和高h,并计算长宽比 length = max(w, h),width=min(w, h),Current_ratio=max(length/width, width/length);若Current_ratio<= ratio_thresh, ratio_thresh为阈值,则该轮廓符合条件,返回面积最大的符合条件的轮廓;

步骤132,提取膨胀图像中的外部轮廓;

步骤133,通过面积和数量限制筛选轮廓,并返回最大轮廓;

步骤134,在图像边缘的D个像素内不进行搜索;

步骤135,在区域内每隔E个像素检查一次亮度;

步骤136,沿 轴和 轴每隔F个像素采样一次,忽略边界;

步骤137,更新出0‑255颜色通道之间阈值最大的像素点。

5.如权利要求2所述的基于多像面眼动追踪的动态虚拟像面调节装置,其特征在于,所述的标定模块的实施流程如下:步骤141,选定屏幕尺寸作为标定屏幕,将屏幕参数输入控制系统并通过透镜投射进入人眼;

步骤142,选择均匀铺满屏幕的9‑12个点作为标定点;

步骤143,用户佩戴好装置并调整画面中眼部图像的大小;

步骤144,通过外设如键盘或手柄进行自主标定,确保当前状态下所注视的点为标定点:在标定模式下,通过摄像头实时获取图像,利用上述瞳孔检测算法得到瞳孔的中心坐标 (x_eye, y_eye);在每一帧图像上绘制当前标定的目标点;当用户按下空格键时,记录当前瞳孔坐标 (x_eye, y_eye) 和对应的屏幕坐标到标定数据字典calibration_data中;

当完成所有标定用点的记录后,将calibration_data保存到文件中;

步骤145,调节透镜与屏幕之间的距离,从而改变像面距离人眼的远近,重复步骤142至步骤144;

步骤146,保存不同深度下标定出的权重信息。

6.如权利要求2所述的基于多像面眼动追踪的动态虚拟像面调节装置,其特征在于,所述的多项式拟合模块的实施流程如下:步骤151,获取9‑12个标定点的像素点坐标;

步骤152,从视频帧中输出瞳孔中心的像素点坐标;

步骤153,将步骤151和步骤152中的像素点坐标 与 拆分为一维数据;

步骤154,选取多项式对坐标点进行一维数据拟合;

步骤155,拟合 函数中的多项式系数;

步骤156,拟合 函数中的多项式系数;

步骤157,保存拟合出的 轴和 轴的一维多项式的系数:

从保存的标定数据文件中加载瞳孔坐标数据eye_coords和屏幕坐标数据screen_coords,提取瞳孔坐标的x分量eye_x和y分量eye_y,以及屏幕坐标的x分量screen_x和y分量screen_y使用函数分别对瞳孔x坐标与屏幕x坐标、瞳孔y坐标与屏幕y坐标进行多项式拟合,得到拟合系数coefficients_x和coefficients_y;

步骤158,通过输入瞳孔中心点坐标,开始预测注视点坐标。

7.如权利要求1 6之一所述的基于多像面眼动追踪的动态虚拟像面调节装置,其特征~在于,所述透镜‑屏幕调节系统包括透镜、屏幕、线性滑轨、微型步进电机和驱动电路,所述驱动电路与所述微型步进电机连接,所述微型步进电机的动作端与屏幕联动,所述屏幕可滑动地安装在所述线性滑轨上,所述线性滑轨的前后侧分别布置所述屏幕和透镜;

所述的透镜‑屏幕调节系统还包括调节模块和传感反馈模块,所述调节模块用于根据预测的注视点坐标实时选择需要调整的距离;所述传感反馈模块,用于驱动微型步进电机调节透镜与屏幕之间的距离;

所述的调节模块的实施流程如下:

步骤211,根据多项式拟合模块所输出的预测的注视点坐标选定画面区域;

步骤212,当此区域被标记后调节提前设置好的行程范围;

所述的传感反馈模块的实施流程如下:

步骤221,选用8mm行程的微型步进电机;

步骤222,根据不同的注视区域施加PWM波控制微型步进电机行程。

8.如权利要求1 6之一所述的基于多像面眼动追踪的动态虚拟像面调节装置,其特征~在于,所述的控制系统包括数据处理模块、计算模块和控制指令模块,所述数据处理模块用于接收来自眼动追踪系统的注视点坐标,所述计算模块用于解析当前所需的像面深度,所述控制指令模块用于发送运动指令给透镜‑屏幕调节系统;

所述的数据处理模块的实施流程如下:

步骤311,接收眼动追踪系统输出的瞳孔中心坐标;

步骤312,接收并解析标定注视点坐标;

步骤313,基于瞳孔中心坐标与标定注视点坐标,进行坐标校正与滤波,去除噪声,提高数据精度;

步骤314,存储校正后的注视点坐标,并将数据传输至计算模块;

所述的计算模块的实施流程如下:

步骤321,接收来自数据处理模块的注视点坐标信息;

步骤322,基于系统预设的注视点‑深度映射模型,计算当前所需的像面深度;

步骤323,对计算结果进行异常值检测,并进行插值处理以优化数据平滑度;

步骤324,存储计算出的深度信息,并将其发送至控制指令模块;

所述的控制指令模块的实施流程如下:

步骤331,接收计算模块传输的像面深度数据;

步骤332,根据深度需求,生成步进电机的控制指令,包括前进、后退及行程长度;

步骤333,采用脉冲宽度调制PWM信号控制微型步进电机的移动步长和速度;

步骤334,实时监测步进电机状态,确保透镜位置精准调整;

步骤335,反馈执行结果,并在必要时进行二次调整,以提高系统响应精度。

9.如权利要求1 6之一所述的基于多像面眼动追踪的动态虚拟像面调节装置,其特征~在于,所述的显示系统包括动画预处理模块和注视点感应模块,所述动画预处理模块用于提前设定好画面中不同区域对应的虚像深度;所述注视点感应模块用于确保画面更新与透镜调整同步进行;

所述的动画预处理模块的实施流程如下:

步骤411,根据现实生活中的深度信息设定画面中的深度信息;

步骤412,对动画中的每一帧画面的不同区域预设深度信息;

步骤413,对不同深度下的画面预设不同的深度信息;

步骤414,将预设的深度信息设为反馈终端;

所述的注视点感应模块的实施流程如下:

步骤421,设定区域阈值范围;

步骤422,对不同深度下的画面预设不同的区域阈值范围;

步骤423,当注视点转移至区域阈值后产生反馈信息,驱动透镜‑屏幕调节系统的微型步进电机实现进给。

10.一种如权利要求1所述的基于多像面眼动追踪的动态虚拟像面调节装置实现的方法,其特征在于,所述方法包括以下步骤:步骤1、用户佩戴设备:用户正确佩戴眼动追踪设备,确保设备稳固贴合面部,并调整位置,使摄像头能够清晰捕捉用户的眼部区域;自检用户的瞳孔是否完全可见,并调整红外光照强度;

步骤2、眼动校准:进入校准模式,引导用户依次注视多个预设校准点,以建立用户眼动模型;通过计算瞳孔中心偏移量与屏幕坐标之间的映射关系,精准拟合用户的个性化眼动参数;校准过程中,根据采样误差动态调整参数;

步骤3、注视点预测:在正常运行模式下,持续采集用户的眼动数据,包括瞳孔位置和视线方向;基于已建立的眼动模型实时计算并预测用户的当前注视点坐标,确定其视线在屏幕上的具体目标区域;此预测数据用于驱动后续的自适应视觉调整机制;

步骤4、注视点感应:进一步精确测量用户的实时注视点,并对预测数据进行误差修正;

检测用户眼球的微小运动,并动态调整注视点的计算精度,以应对不同用户的眼动特性;

步骤5、透镜‑屏幕距离调整:当确认用户的注视点位于注视点感应模块所设定区域的阈值范围内时,驱动电路生成驱动信号,传输至微型步进电机,微型步进电机沿线性滑轨精确移动屏幕,使屏幕与透镜之间的几何距离发生变化,以调整视觉焦距,从而匹配用户的当前视线需求。