1.一种基于虚拟现实的人机交互系统,其特征在于:所述系统具体包括:数据管理模块,用于管理人机交互系统中产生的数据;
交互管理模块,用于对用户与虚拟空间内虚拟物品之间进行的交互行为进行管理;
疲劳管理模块,用于当用户处于疲劳状态时进行相应的管理;
所述一种基于虚拟现实的人机交互系统的运行方法,包括:
步骤S1:建立数据库,实时收集用户眼部数据、虚拟环境中虚拟物品的位置数据、眼动数据、用户数据,对数据进行预处理,将经过预处理的数据存储到对应的数据库中;
步骤S2:判断用户是否进行交互,当用户进行人机交互时,通过计算眼球的旋转角度和虚拟物品与对应摄像头的夹角,确定用户进行交互的虚拟物品,并通过分析用户的眼动数据,对虚拟物品进行交互行为;
步骤S3:调用用户数据库中的用户数据,计算用户的疲劳指数,并向用户做出警示,收集用户处于疲劳状态下的时间戳,预测出用户易处于疲劳状态的时间段,并向用户做出提醒;
建立眼部数据库,实时收集眼部数据,所述眼部数据包括眼球瞳孔图像、眼球瞳孔坐标、眼球瞳孔的初始坐标、眼球距显示器的距离,通过布置红外线摄像头实时拍摄眼球图像,对眼球图像建立坐标系,并得出眼球瞳孔对应的坐标,获取眼球瞳孔坐标数据对应的时间戳,将眼球瞳孔的坐标数据与对应的时间戳数据存储到眼部数据库中;
建立虚拟环境数据库,实时获取虚拟环境中虚拟物品的位置坐标,将虚拟物品的坐标数据存储到虚拟环境数据库中,建立眼动数据库,将系统设立的眼动数据与对应的交互行为存储到眼动数据库中;
建立用户数据库,实时收集用户数据,将用户数据进行预处理后存储到用户数据库中,所述用户数据包括心率数据、眨眼频率、运行时长、瞳孔收缩数据;
所述步骤S2进一步包括以下步骤:
步骤S21:调用系统设定周期 内眼部数据库中眼球瞳孔的坐标数据 、眼球瞳孔的初始坐标 、眼球与显示器之间的距离 ,计算眼球的旋转角度,其中, ,将眼球的旋转角度存储到数据库
中,计算周期 内相邻瞳孔图片之间眼球旋转角度的差值 ,其中,
,调用数据库中阈值 ,对周期 内所有眼球旋转角度的差值 进行标记,并通过计数器统计标记个数,当 时,标记为第一眼动结果,增加计数器一的值,获取计数器一中连续标记第一眼动结果的数量 ,当 时,标记为第二眼动结果,增加计数器二的值,获取计数器二中连续标记第二眼动结果的数量 ,调用数据库中设立的阈值 、 ,当 时,判断用户快速浏览虚拟物品,当 或时,判断用户正常的进行眼部活动,当 时,判断用户与虚拟物品进行交互行为;
步骤S22:当系统判断用户进行交互行为时,调用数据库中对应的眼球旋转角度 ,对应的方向为 ,得到眼球对应的方向特征 ,调用虚拟环境数据库中虚拟物品的坐标数据 ,其中, 为数据库中虚拟物品的数量,计算虚拟物品与虚拟环境中摄像头位置之间的夹角
,其中 为虚拟空间中摄像头的坐标,
虚拟物品对应的方向表示为 ,得到虚拟物品对
应的方向特征为 ,虚拟物品对应的方向特征存储到数据库中;
步骤S23:调用数据库中虚拟物品对应的方向特征 ,计算眼球的方向特征与虚拟物品方向特征之间的差异 ,从中选择眼球的方向特征与虚拟物品方向特征之间差异最小的虚拟物品作为与用户进行交互的虚拟物品,并在虚拟物品上显示对应物品的简易信息。
2.根据权利要求1所述的一种基于虚拟现实的人机交互系统,其特征在于:所述数据管理模块包括:数据采集单元,用于收集眼部数据、虚拟环境中虚拟物品的位置数据、眼动数据、用户数据,并进行存储;
数据处理单元,用于对收集的眼部数据、虚拟环境中虚拟物品的位置数据、眼动数据、用户数据进行预处理。
3.根据权利要求2所述的一种基于虚拟现实的人机交互系统,其特征在于:所述交互管理模块包括:交互判断单元,用于通过比较眼球转动之间的时间差判断是否进行人机交互;
交互确定单元,用于通过计算眼球的旋转角度和虚拟物品与对应摄像头的夹角,确定用户进行交互的虚拟物品;
交互执行单元,用于通过分析眼动数据,使用眼动数据对应的交互行为进行人机交互。
4.根据权利要求3所述的一种基于虚拟现实的人机交互系统,其特征在于:所述疲劳管理模块包括:疲劳判断单元,用于通过调用用户数据判断用户身体状态;
疲劳预测单元,用于通过历史的疲劳数据预测用户易处于疲劳状态的时间段;
警示单元,用于当用户处于疲劳状态时发出警示。
5.根据权利要求4所述的一种基于虚拟现实的人机交互系统,其特征在于:所述数据采集单元包括:虚拟头盔,用于内置摄像头,拍摄眼球的运动状态,收集眼部与眼动数据,收集虚拟空间内虚拟物品数据;
传感器,用于收集用户的心率数据。
6.根据权利要求5所述的一种基于虚拟现实的人机交互系统,其特征在于:所述步骤S23进一步包括:当用户通过眼部选中需要进行交互的虚拟物品后,系统生成设定好的交互界面包括不同眼动数据与对应的交互行为,系统获取进行交互的时间戳,调用眼部数据库中对应时间戳后一段时间里眼球的图片、对应的瞳孔坐标 、眼球瞳孔的初始坐标 ,提取眼球的运动特征 包括选中需要进行交互的虚拟物品后眼球的旋转方向、眨眼次数、闭眼次数;
所述眼球的旋转方向是通过比较眼球瞳孔坐标之间的大小得到的,当 时,判断眼球右旋转,当 ,判断眼球向左旋转,当 时,判断眼球向上旋转,当时,判断眼球向下旋转,并将得到的眼球旋转方向录入到眼球运动特征 中,调用眼动数据库中眼动数据 与对应的交互行为,其中, 为数据库中交互行为的种类,通过比较眼球的运动特征中眼球的旋转方向与眼动数据库中眼球的旋转方向,选择眼球旋转方向一致的眼动数据对应的交互行为对虚拟物品进行交互;
所述眨眼次数是通过筛选眼球图片中未出现瞳孔的图片,获取对应的时间戳,并计算未出现瞳孔图片与对应下一个出现瞳孔图片之间的时间戳差值 ,调用数据库中设立的阈值 ,当 时,判断用户眨眼,并统计用户眨眼的次数,并将得到的眨眼次数录入到眼球的运动特征 中,调用眼动数据库中眼动数据 与对应的交互行为,通过比较眼球的运动特征中眨眼次数与眼动数据库中眨眼次数,选择眨眼次数相同的眼动数据对应的交互行为对虚拟物品进行交互;
所述闭眼次数是通过筛选眼球图片中未出现瞳孔的图片,获取对应的时间戳,并计算未出现瞳孔图片与对应下一个出现瞳孔图片之间的时间戳差值 ,调用数据库中设立的阈值 ,当 ,判断用户闭眼,并记录闭眼的次数,将得到的闭眼次数录入到眼球的运动特征 中,调用眼动数据库中眼动数据 与对应的交互行为,通过比较眼球的运动特征中闭眼次数与眼动数据库中闭眼次数,选择闭眼次数相同的眼动数据对应的交互行为对虚拟物品进行交互。
7.根据权利要求6所述的一种基于虚拟现实的人机交互系统,其特征在于:所述步骤S3进一步包括以下步骤:步骤S31:调用用户数据库中心率数据 、眨眼频率 、运行时长 、瞳孔收缩数据 ,计算用户的疲劳指数 ,其中, 、 、 、 为数据库中设立的权重参数,调用数据库中设立的阈值 ,当 时,判断用户身体状态正常,当时,判断用户身体处于疲劳状态,系统提示用户身体处于疲劳状态,并收集处于疲劳状态时对应的时间戳,将对应的时间戳存储到数据库中;
步骤S32:调用数据库中历史处于疲劳状态的时间戳数据,调取数据库中对应的模型算法,将历史处于疲劳状态的时间戳数据作为样本数据训练模型,得到疲劳时间预测模型,预测出用户容易进入疲劳状态的时间段,当用户接近预测的疲劳时间段时,系统提前一段时间向用户做出提醒,避免过度疲劳。