1.一种基于视线估计的交互式双眼视功能训练系统,其特征在于,所述系统包括光学系统和处理控制系统,所述光学系统是指对称布局的左眼弱视光路和右眼弱视光路;所述左眼弱视光路包括以此依次连接的左侧红外光源、左侧红/蓝色滤光片、偏振片和红外摄像头;所述右眼弱视光路包括以此依次连接的右侧红外光源、右侧红/蓝色滤光片、偏振片和红外摄像头;左、右弱视光路最终通过的偏振片为同一个偏振片,接收的红外摄像头为同一个红外摄像头;
所述处理控制系统包括电脑显示器、双眼视功能训练模块、人眼注视点预测模块和优势眼抑制模块,所述电脑显示器与左侧红外光源、右侧红外光源及红外摄像头连接,所述双眼视功能训练模块包括针对电脑显示器为终端显示设备的三级视功能训练游戏;所述人眼注视点预测模块对红外摄像头获取的人脸部姿态图像进行存储、双眼及面部图像分割和分析得出注视点预测坐标,同时与双眼视功能训练模块进行多软件交互;所述优势眼抑制模块包括遮挡模型的生成和实时显示,所述的遮挡模型的生成是指利用三维建模软件生成虚拟遮挡模型;所述的遮挡模型的实时显示是指在基于视线估计的深度学习神经网络输出的用户注视点坐标位置上叠加显示虚拟遮挡模型,且仅叠加显示在预设的优势眼终端显示设备上。
2.如权利要求1所述的一种基于视线估计的交互式双眼视功能训练系统,其特征在于,所述的人眼注视点预测模块包括深度学习神经网络,所述的深度学习神经网络是基于视线估计的深度学习神经网络模型的基础上,通过更改数据的加载方式以及坐标生成方式改进训练的:通过调用红外摄像头获取用户当前的注视信息,实时预测注视点坐标数据;所述的红外摄像头在以针对电脑屏幕为终端显示设备的系统中处于电脑屏幕中心最上侧位置,其获取的用户实时注视信息为:双眼位置和人脸姿态信息,通过对左眼、右眼和人脸信息的图片做特征提取,然后利用全连接层回归实现注视点的预测,同时以人脸姿态信息作为监督信息对眼部特征进行重新校准,改进之后可通过直接调用摄像头达到实时生成预测点坐标的效果;
通过将人脸图像 、左眼图像 、右眼图像 以及人脸相对于图片的位置 输入到注视点预测模型最后得到预测点 ,首先将 与 输入至 得到输出的特征向量 和 ,
;
;
然后将左眼与右眼的特征向量进行连接,
;
并在最后通过全连接层进行处理,
;
对于人脸图像的特征提取,采用将人脸图像 输入到 中,
;
同样的对于人脸相对于图片的位置 ,将其输入到 中,
;
整合 、 与 包含的所有数据信息通过全连接层预测,得到实时注视点的标准坐标 ,
;
式中, 、 与 分别是左眼图像 和右眼图像 、人脸图像 以及人脸相对于
图片的位置 通过各自的网络模型后得到的输出。
3.如权利要求2所述的一种基于视线估计的交互式双眼视功能训练系统,其特征在于,所述的注视点坐标数据是指用户注视点落在终端显示设备屏幕的实时坐标数据,是以屏幕中心为原点建立的平面直角坐标系下的坐标数据:针对不同电脑屏幕尺寸差异性,为确保输出注视点坐标数据始终以当前电脑中心原点,通过如下公式实现注视点追踪的泛用性,;
;
式中, 与 是指在用户电脑屏幕上注视点预测的实际坐标, 与 是指通过深度学习神经网络计算出的标准预测点坐标, 与 是指的是用户电脑屏幕的实际长、宽度,与 是指用户电脑屏幕规格在长、宽度上的偏移量,通过公式将预测得到的注视点坐标数据的坐标原点校准在用户电脑屏幕的中心。
4.如权利要求1 3之一所述的一种基于视线估计的交互式双眼视功能训练系统,其特~
征在于,所述双眼视功能训练模块中,所述的针对电脑屏幕为终端显示设备的三级视功能训练游戏是通过电脑构建三维虚拟环境场景和Gabor视标,符合鼠标操纵画面视角、键盘控制视角移动的原则进行游戏交互,游戏过程中始终保持第一视角或第三视角显示画面,完成游戏要求得分或条件完成通关,游戏结束后保存游戏时长、得分记录。
5.如权利要求4所述的一种基于视线估计的交互式双眼视功能训练系统,其特征在于,所述的三级视功能训练游戏包括基于电脑屏幕为终端显示设备的同时视训练游戏、融合视训练游戏和立体视训练游戏,通过Unity 3D软件进行PC端游戏开发:卡牌游戏利用随机排列算法Gabor视标刺激用户大脑皮层从而训练用户的视觉,通过集中注视和分辨Gabor视标的方位性和相邻性以达到同时视训练;Gabor对对碰游戏利用随机排列算法和移动组件交互算法以知觉训练的准则调动手、眼、脑协作,从而训练用户的双眼对物像同时接受能力,以达到同时视训练;动物聚散分类游戏利用随机排列算法和移动组件交互算法以感知两只眼睛单眼融合距离范围为原则,调动大脑调整双眼去维持感觉性融合能力,以训练融合视;
马斯登躲避球游戏利用随机下落算法和刚体碰撞检测算法以模拟马斯登球在多种现实场景下的运动轨迹,满足远近左右纵向移动空间从而训练用户的感知深度觉,以达到立体视训练;迷宫游戏利用操纵视角算法和刚体碰撞检测算法以不同空间频率的光栅刺激和远近距离位移来刺激用户的大脑皮层,训练用户视觉功能,通过视知觉训练调动手、眼、脑协作来识别抓取Gabor视标,改善单、双眼视知觉缺陷通路,观察空间中远近深度不一的移动条纹光栅训练深度运动知觉,加强立体感知建立。
6.如权利要求5所述的一种基于视线估计的交互式双眼视功能训练系统,其特征在于,所述的同时视训练游戏、融合视训练游戏和立体视训练游戏的难度和类型根据用户的训练计划进行调整,分为Gabor视标参数和障碍物参数调节,包括但不限于Gabor视标的数量、Gabor视标的方向、Gabor视标的空间频率、Gabor视标的相邻性、障碍物的数量、障碍物的速度、障碍物的大小尺寸、障碍物的对比清晰度、障碍物的横向和纵向距离参数的调节。
7.如权利要求1 3之一所述的一种基于视线估计的交互式双眼视功能训练系统,其特~
征在于,所述优势眼抑制模块中,所述的虚拟遮挡模型是根据用户具体的视觉功能和制定的训练方案而有针对地进行设计和构建的,并且可以随着用户训练反馈的结果进行调整,可调整的参数包括虚拟遮挡模型的颜色、形状、材质、大小、对比度、清晰度、出现频率和速度。
8.如权利要求7所述的一种基于视线估计的交互式双眼视功能训练系统,其特征在于,所述优势眼抑制模块中,仅叠加显示在预设的优势眼终端显示设备在以针对电脑屏幕为终端显示设备的情况下需要配合红蓝眼镜,红色镜片只有红光能通过,可以过滤掉画面中的红色内容;蓝色镜片只有蓝光能通过,可以过滤掉画面中的蓝色内容,这样通过红蓝镜片后左右眼看到不同画面,配合虚拟遮挡模型颜色的调整,提前预设好优势眼的位置即可以实现对优势眼的抑制效果。
9.如权利要求1 3之一所述的一种基于视线估计的交互式双眼视功能训练系统,其特~
征在于,所述处理控制系统还包括用户信息管理模块,所述的用户信息管理模块包括用户信息录入系统和用户信息查询系统,所述的用户信息录入系统包括获取用户个人信息、诊断数据和游戏训练数据,需要用户在使用双眼视功能模块训练时进行注册或登录账号,以方便存储信息数据;所述的用户信息查询系统包括独立于双眼视功能模块训练之外用户查看用户训练效果,需要用户注册或登录同一账号;
所述的个人信息包括用户的年龄、性别、名字和弱视情况;所述弱视情况包括双眼裸眼视力、验光、矫正视力、是否斜视、优/弱视眼位置、立体视和制定的训练方案强度参数;所述的游戏训练数据通过在双眼视功能训练模块中的三级视功能游戏完成后及时保存训练时长、训练周期和游戏得分信息到系统中。
10.一种如权利要求1所述的基于视线估计的交互式双眼视功能训练系统实现的方法,其特征在于,所述方法包括以下步骤:步骤1、用户将头部固定,双眼处于自然注视状态,左侧红外光源和右侧红外光源照射人眼进行补光,并设定针对电脑显示器为终端显示设备的三级视功能训练游戏类型和训练强度;
步骤2、在开始游戏时,打开红外摄像头,实时捕获用户的头部姿态和双眼信息,实时预测注视点的坐标数据,生成虚拟遮挡模型叠加显示在优势眼的电脑屏幕上;
步骤3、在游戏开始时,根据游戏类型和训练强度随机生成Gabor视标,用户需要佩戴红蓝眼镜根据通关提示通过游戏关卡;
步骤4、完成一次游戏后,自动保存本次游戏类型、游玩时长和得分情况;选择其他游戏类型和训练强度再次进行双眼视功能训练。