1.一种智慧教育互动教学方法,其特征在于,所述方法包括:
用户登录VR教学系统,个性化加载初始场景,所述用户登录VR教学系统,个性化加载初始场景,具体包括:采集用户生物特征并识别用户身份,利用脑机接口技术获取用户的需求,个性化加载初始场景;用户登录后,系统实时判断模拟世界场景与用户运动感知的真实性,并计算与真实世界的差距,所述用户登录后,系统实时判断模拟世界场景与用户运动感知的真实性,并计算与真实世界的差距,具体包括:虚拟世界场景真实性差距计算,用户运动感知真实性差距计算;用户登录后,系统实时监测人体健康数据,拆分为不同维度,并储存至云平台,所述用户登录后,系统实时监测人体健康数据,拆分为不同维度,并储存至云平台,具体包括:滤除运动伪影,获取PPG信号,监测用户血压、心率、呼吸情况,获取EEG信号,监测用户晕眩、心理情况;基于需求和健康情况,判断用户对于当前场景适应情况并预测用户的健康情况趋势;根据适应程度进行真实性调整和个性化提醒,并记录至云平台,具体包括:系统根据用户分析报表对模拟世界真实性进行调整;对用户使用VR教学的风险进行评估。
2.根据权利要求1所述的方法,其中,所述用户登录VR教学系统,个性化加载初始场景,包括:
在用户佩戴好VR设备并启动后,将自动采集用户的脉搏信号,识别用户信息,获取用户对于教学的需求,并结合用户在云上的既往病史,为用户个性化加载VR场景;首先对用户的脉搏状况进行采集,收集用户的健康信息并进行预处理和特征提取,在数据库中进行特征匹配以识别用户身份,调取或新建用户档案;接着将利用脑机接口,获取用户对于教学的需求,并以需求为标准自动计算出一个精度下限,根据用户个人健康信息初步确定场景需求;
利用Unity3D开发引擎,使用云计算的方式,在云上的大型神经网络模型下绘制三维场景,加载用户初始场景;包括:采集用户生物特征并识别用户身份;利用脑机接口技术获取用户的需求;个性化加载初始场景;
所述采集用户生物特征并识别用户身份,具体包括:
根据PPG信号这一生物特征识别用户身份;利用光电容积脉搏传感器在指尖采集PPG信号,并使用UWB进行信号传输,采用决策器进行分类识别;使用小波阈值方法对信号进行预处理,消除基线奇异点和高频噪声,然后将PPG信号进行单周期划分并提取周期值,使用Gabor原子构成的原子库对单周期信号进行稀疏分解,提取特征参数,导入决策树进行识别;
所述利用脑机接口技术获取用户的需求,具体包括:
使用脑机接口通过分析脑电信号建立交互系统,实现人脑与计算机直接交流,获取用户对于无人机喷药场景的需求;使用微纳加工电极阵列采集脑电波信号源,再利用巴特沃斯滤波器进行预处理,滤除噪音,获取指定信号;接着使用共空间模式算法对信号进行构建特征集合,利用人工神经元网络对不同的生理、心理条件进行分类,并对场景想象的脑网络结构进行构建,计算用户对地形、风速、湿度、温度、土壤条件需求的强度值与精确值;根据需求,自动计算一个需求下限,为场景加载提供依据;
所述个性化加载初始场景,具体包括:
基于用户需求给出的需求下限,结合用户个人健康状态以及对于VR真实性的承受能力,在区间范围内选取合适的真实性水平,为用户提供个性化的初始场景标准;对于无人机喷药初始场景的加载,考虑地形、风速、湿度、温度、土壤的影响,利用Unity3D开发引擎、真实世界数据,使用云计算的方式,在大型神经网络模型下绘制三维场景,加载用户初始场景;对于地形,考虑地形陡度、地形面积,采用DEM进行模拟;当用户对地形的需求高于预设阈值,采用TIN不规则三角模型方法进行表示,再使用VDPM算法对地形网格进行增减,创建最近似真实地形;当用户对地形的需求低于预设阈值,采用以RSG规则网格模型表示原始数据,再使用二叉树ROAM算法基于二元三角树对描述地形表面的图元进行分割和合并,创建地形;对于风速,考虑风速大小,风力角度,采用WRF中尺度数值模式模拟风速样本;对于土壤,考虑土壤类型、土壤含氧量、土壤养分、土壤湿度和土壤温度,使用气象数据、植被数据作为协变量因子,基于GBM对土壤条件进行回归模拟,模拟土壤条件;对于温度,除了土壤温度,考虑药液温度、空气温度、光照强度,同样采用GBM的方法进行模拟。
3.根据权利要求1所述的方法,其中,所述用户登录后,系统实时判断模拟世界场景与用户运动感知的真实性,并计算与真实世界的差距,包括:
基于神经网络学习物理理论知识以及各种影响因素下无人机喷药的表现,将影响因素拆分为两类,第一类为场景因素,包括环境因素和用户实操调整因素,其中包括地形、风速、湿度、温度、土壤、无人机设备;第二类为感知因素,即用户在使用过程中的感知,其中包括视觉感知和动作感知;判断的过程中,将用户对模拟世界的场景要求和用户身体状况对模拟世界的感知要求,与现实世界进行重组对应,分别利用最小回归分析法和SVR算法与真实世界做对比,计算置信度;其中,通过对场景真实性差距评估获取场景因素的评价,通过对立体VR视频进行分析,建立用户舒适度评估模型,来获取人类感知特征;包括:虚拟世界场景真实性差距计算;用户运动感知真实性差距计算;
所述虚拟世界场景真实性差距计算,具体包括:
在计算真实场景与真实世界的差距时,利用开发引擎Unity3D的内置架构,获取模拟世界的场景模型,并将其与真实世界的真实地形数据高程图、卫星图、天气预报做对比:利用独立成分分析法,将用户对虚拟世界的需求,即前述的用户对地形、风速、湿度、温度、土壤条件需求,进行独立,每个需求即对应一个需求分支,并将各个分支的特征与虚拟世界的特征一一对应以及组合对应,应用最小回归分析法进行分析,计算虚拟世界与现实世界的差距;
所述用户运动感知真实性差距计算,具体包括:
根据VR晕眩的产生,将用户运动感知分为两个判断标准,一是前庭视觉的匹配程度,二是VR视角与人转动的同步程度;基于这两个判断标准建立用户舒适度评估模型,获得用户感知特征:首先对立体VR视频进行光流估计计算视频帧的水平与垂直运动矩阵,然后计算视频帧速度并计算出帧加速度,最后将提取出来的视频帧速度、加速度多维运动信息作为特征向量,结合SVR算法以及人体动作,建立用户舒适度评估模型,用于后续的舒适度优化。
4.根据权利要求1所述的方法,其中,所述用户登录后,系统实时监测人体健康数据,拆分为不同维度,并储存至云平台,包括:
通过对脉搏的分析,监测用户的血压、心率、呼吸状况;通过对EEG的分析,监测用户的晕眩状态、心理负荷、心理情绪;使用红外传感器对动作进行监测,通过动作投影,对用户的头部、手部进行跟踪,绘制出用户动作图像,判断用户状态是否异常;声音的测量通过声音传感器,从用户的声音颤抖程度、语音识别判断用户的健康状况;包括:滤除运动伪影,获取PPG信号,监测用户血压、心率、呼吸情况;获取EEG信号,监测用户晕眩、心理情况;
所述滤除运动伪影,获取PPG信号,监测用户血压、心率、呼吸情况,具体包括:
采用TROIKA框架滤除运动伪影:在用户识别完成之后,继续采集PPG信号,并进行压缩、传输、重构、预处理;之后采用奇异谱分析进行信号分解:首先将时间序列映射成轨迹矩阵,然后进行奇异值分解、分组以及重组;获得高分辨率频谱后,再对谱峰进行追踪、验证,获得滤除运动伪影的PPG信号;之后采用独立成分分析法,对信号的高阶统计特性进行估计,来获得信号的独立成分分量,分解出与血压、心率、呼吸有关的多项信号,分别进行分析;
所述获取EEG信号,监测用户晕眩、心理情况,具体包括:
利用B‑Alert Live动态实时采集EEG信号,监测用户的健康状况;再经过预处理,滤除噪音,采用独立成分分析法,利用滤波器,分解信号,监测常规的健康指标;对于脑部疾病,首先采用主成分分析法对信号进行预处理,再采用赫斯特指数以及去趋势指标数对常见的脑部疾病信号的特征进行提取,通过SVM方法实现自动检测;对于用户心理负荷的监测,以通道Fz和F4的Alpha波以及通道Fz和F3的Theta波为指标研究用户的心理负荷状态变化;利用B‑Alert Lab分析软件对信号进行处理,计算功率谱密度,使用由零阶贝塞尔函数修正得到的凯塞窗进行FFT计算,再通过计算、校正得到有效的PSD,在去除除脑电伪迹后通过处理PSD;对各项指标进行综合考虑,获得用户的心理状态,判断用户对VR的适应程度。
5.根据权利要求1所述的方法,其中,所述基于需求和健康情况,判断用户对于当前场景适应情况并预测用户的健康情况趋势,包括:
根据医院的大数据,预先建立各种疾病的生理指标数据,作为用户健康的判断依据,并根据用户的历史数据进行个性化调整;通过PPG、EEG、动作、声音的采集,获取用户血压、心率、眩晕、心理状态、动作、声音多角度的健康数据,围绕与3D晕眩、VR不适、恐高、心脏病以及其他突发疾病的症状有关的基本特征作为分析角度,据此以用户基本特征、检验指标为主题分别构建出两种分析模型;综合两种模型,使用HANA平台进行关联规则挖掘,并对数据量进行评估,以此计算出用户对当前场景的适应程度,并预测、监测用户的健康状况;同时,将用户数据建立成分析报表并储存至云平台,作为历史记录训练,用户本人也可自由查看。
6.根据权利要求1所述的方法,其中,所述根据适应程度进行真实性调整和个性化提醒,并记录至云平台,包括:
首先根据教学需求以及模拟世界场景真实性,并将用户承受能力通过计算作为阈值,判断模拟世界的场景是否可靠,对模拟世界的场景进行真实性调整;接着,根据分析报表判断用户的健康状况,进而判断用户对VR的适应程度,作为调整用户运动感知真实性程度的依据;如果用户各项指标表现良好,并且判定用户需要接受真实性更高的虚拟世界,则根据前步所得出来的真实性差距加以修正,提高操作灵敏度;如果预测或者监测到用户的健康指标出现异常,如预测到用户疲劳、即将出现健康问题,则需要对vr场景进行个性化调整,甚至向用户发出警报;同时,将操作记录至用户档案,记录用户的vr使用习惯;包括:系统根据用户分析报表对模拟世界真实性进行调整;
所述系统根据用户分析报表对模拟世界真实性进行调整,具体包括:
如果判断用户不适应当前VR的场景,则需要进行用户运动感知调整,对帧速度与帧加速度进行个性化修改,减少VR视觉滞后问题,并通过减速、减少视觉被动移动来减少异常运动;如果预测用户即将疲劳,则根据教学需求适当降低精确度,降低用户的能耗消耗;如果预测或监测到用户健康状况即将出现异常,则发出警报,并进行个性化调整,并记录用户的VR使用习惯;同时,用户也有权限自由对参数自由调整。
7.根据权利要求1所述的方法,其中,所述对用户使用VR教学的风险进行评估,包括:
对于教学效果,通过对脑电信号中的心理因素进行分析,判断用户的愉悦感受,教学前后脑电信号的差异,评估教学效果;通过对用户健康数据提取,迅速发现用户使用VR的不适应感受,并及时调整或发出警报;在使用的过程中,记录下了更多个人的数据,形成用户习惯,点对点监测用户状况;也依据现代医疗,及时更新疾病数据,以及时发现用户不适感;同时,对用户的数据进行加密保存,仅训练深度学习算法时以及用户本人有权限获得用户数据。