1.一种多屏互动系统的操作方法,其特征在于,所述方法基于包括第一主移动终端、第二副移动终端和显示终端的多屏互动系统,所述第一主移动终端、第二副移动终端和显示终端之间通信连接;
所述方法包括:
获取用户通过第一主移动终端输入的第一触控操作,确定与所述第一触控操作对应的目标课程数据,将目标课程数据发送给第二副移动终端和显示终端并在第二副移动终端和显示终端上展示该目标课程数据;
在第二副移动终端上展示目标课程数据的过程中,获取用户通过第二副移动终端输入的第二触控操作,确定第二触控操作的触控参数;
获取第二副移动终端对应的历史行为数据,对历史行为数据进行特征提取,获取对应的第二操作行为特征;其中,获取第二副移动终端对应的历史行为数据,所述历史行为数据包括用户通过第二副移动终端输入的触控操作的触控参数;按照预设的特征提取算法,提取每一个触控参数的特征值;基于统计学习模型,确定触控参数的特征值对应的参数分布,基于该参数分布确定第二操作行为特征,所述第二操作行为特征包括与触控参数对应的参数参考范围;
判断所述第二触控操作的触控参数是否与第二操作行为特征匹配;其中,判断第二触控参数的触控参数是否满足第二操作行为特征中的参数参考范围,若是,判定第二触控参数的触控参数满足第二操作行为特征,若否,判定第二触控参数的触控参数不满足第二操作行为特征;
若是,确定与第二触控操作对应的操作指令并执行,将执行结果发送给显示终端,以在所述显示终端上展示执行结果;其中,所述确定与第二触控操作对应的操作指令的步骤,还包括:确定第二副移动终端上展示目标课程数据中当前操作界面中的至少一个可操作控件,并在至少一个可操作控件中确定与第二触控操作对应的至少一个待选控件;根据第二操作行为数据,确定用户的第一触控偏移参数;根据第一触控偏移参数和系统设定的每一个待选控件对应的第二触控偏移参数,确定第二触控操作与每一个待选控件之间的匹配度,根据匹配度在至少一个待选控件中确定目标控件;确定与目标控件对应的操作指令作为与第二触控操作对应的操作指令;
若否,计算所述第二触控操作的触控参数与第二操作行为特征之间的差异特征,并基于计算得到的差异特征进行差异行为分类,以确定第二触控操作对应的目标异常分类,将所述目标异常分类发送给第一主移动终端,以提醒第一主移动终端的用户当前第二副移动终端的异常情况。
2.根据权利要求1所述的多屏互动系统的操作方法,其特征在于,所述根据第二操作行为数据,确定用户的第一触控偏移参数的步骤,还包括:根据第二副移动终端的用户的历史行为数据中用户对控件输入触控操作的偏移数据,确定用户的第一触控偏移参数,所述第一触控偏移参数表示用户的历史行为数据中用户输入的触控操作中控件区域的中心与用户输入的触控操作的触控区域中心的偏移程度;
根据系统预设的第二触控操作允许的偏移程度,确定与当前操作界面对应的第二触控偏移参数,其中第二触控偏移参数表示当前操作界面中至少一个可操作控件对应的触控区域之间所允许的偏移程度;
根据第一触控偏移参数、第二触控偏移参数和每一个待选控件对应的触控区域,计算每一个待选控件与输入的第二触控操作对应的触控区域之间的匹配度,其中,根据第一触控偏移参数、第二触控偏移参数计算每一个待选控件对应的扩展触控区域,计算该扩展触控区域与输入的第二触控操作对应的触控区域之间的重叠区域,根据该重叠区域的面积与触控区域的面积之间的比值确定触控操作与待选控件之间的匹配度;
或,计算每一个待选控件对应的触控区域与输入的第二触控操作对应的触控区域之间的重叠区域,根据该重叠区域的面积与触控区域的面积之间的比值,根据第一触控偏移参数、第二触控偏移参数对计算得到的比值进行修正,将修正之后的比值作为待选控件与输入的第二触控操作对应的触控区域之间的匹配度;其中,按照预设的第一修正函数,基于第一触控偏移参数对比值进行第一修正,并按照预设的第二修正函数,基于第二触控偏移参数对第一修正之后的比值进行第二修正,以得到待选控件与输入的触控操作对应的触控区域之间的匹配度。
3.根据权利要求2所述的多屏互动系统的操作方法,其特征在于,所述根据第二操作行为数据,确定用户的第一触控偏移参数的步骤,还包括:确定历史行为数据中的多个触控操作,获取多个触控操作对应的触控参数,确定每一个触控操作的触控参数与所述第二操作行为数据之间的偏移数据,确定每一个触控参数的偏移数据对应的参数分布;
将参数分布划分成若干个参数区间,基于每一个参数区间对应的参数参考值和加权值,计算对应的第一触控偏移参数,其中,加权值是根据每一个参数区间对应的分布概率值计算得到的。
4.根据权利要求1所述的多屏互动系统的操作方法,其特征在于,所述基于计算得到的差异特征进行差异行为分类,以确定第二触控操作对应的目标异常分类的步骤,还包括:基于预设的人工智能分类网络,对差异特征进行分类,得到所述差异特征对应的目标异常分类;
其中,所述基于预设的人工智能分类网络,对差异特征进行分类,得到所述差异特征对应的目标异常分类的步骤,还包括:基于预设人工智能分类网络确定差异特征在每个分类异常标签下的置信度;根据差异特征在每个分类异常标签下的置信度得到差异特征对应的目标异常分类。
5.根据权利要求1所述的多屏互动系统的操作方法,其特征在于,所述方法还包括:
通过第二副移动终端上的摄像装置,获取用户的图像信息;
根据获取的图像信息判断第二副移动终端对应的用户是否具备操作权限;
其中,所述根据获取的图像信息判断第二副移动终端对应的用户是否具备操作权限的步骤,还包括:
将获取的图像信息发送给第一主移动终端,以使得第一主移动终端的用户对第二副移动终端对应的用户是否具备操作权限进行判断,并通过第一主移动终端输入鉴权结果,并发送给第二副移动终端;
第二副移动终端通过接收到的鉴权结果来确定用户是否具备操作权限;
所述根据获取的图像信息判断第二副移动终端对应的用户是否具备操作权限的步骤之后,还包括:
确定与第二副移动终端对应的用户对应的操作权限等级,根据操作权限等级在第二副移动终端上展示目标课程数据中当前操作界面中确定至少一个可操作控件。
6.根据权利要求1所述的多屏互动系统的操作方法,其特征在于,所述方法还包括:
根据目标课程数据确定当前课程进度对应的允许反应时长;
根据第二副移动终端上与用户输入的等待时长,所述等待时长是距离用户上一次通过第二副移动终端输入触控操作的时长;
在等待时长大于或等于预设的允许反应时长的情况下,生成预设的提示信息,并发送给第一主移动终端,用于提示第一主移动终端的用户第二副移动终端可能存在的异常情况。
7.一种多屏互动系统,其特征在于,所述系统包括第一主移动终端、第二副移动终端和显示终端,所述第一主移动终端、第二副移动终端和显示终端之间通信连接;
第一主移动终端获取用户输入的第一触控操作,确定与所述第一触控操作对应的目标课程数据,将目标课程数据发送给第二副移动终端和显示终端并在第二副移动终端和显示终端上展示该目标课程数据;
在第二副移动终端上展示目标课程数据的过程中,第二副移动终端获取用户通过第二副移动终端输入的第二触控操作,确定第二触控操作的触控参数;获取第二副移动终端对应的历史行为数据,对历史行为数据进行特征提取,获取对应的第二操作行为特征;其中,获取第二副移动终端对应的历史行为数据,所述历史行为数据包括用户通过第二副移动终端输入的触控操作的触控参数;按照预设的特征提取算法,提取每一个触控参数的特征值;
基于统计学习模型,确定触控参数的特征值对应的参数分布,基于该参数分布确定第二操作行为特征,所述第二操作行为特征包括与触控参数对应的参数参考范围;判断所述第二触控操作的触控参数是否与第二操作行为特征匹配;其中,判断第二触控参数的触控参数是否满足第二操作行为特征中的参数参考范围,若是,判定第二触控参数的触控参数满足第二操作行为特征,若否,判定第二触控参数的触控参数不满足第二操作行为特征;若是,确定与第二触控操作对应的操作指令并执行,将执行结果发送给显示终端;其中,所述确定与第二触控操作对应的操作指令的步骤,还包括:确定第二副移动终端上展示目标课程数据中当前操作界面中的至少一个可操作控件,并在至少一个可操作控件中确定与第二触控操作对应的至少一个待选控件;根据第二操作行为数据,确定用户的第一触控偏移参数;根据第一触控偏移参数和系统设定的每一个待选控件对应的第二触控偏移参数,确定第二触控操作与每一个待选控件之间的匹配度,根据匹配度在至少一个待选控件中确定目标控件;确定与目标控件对应的操作指令作为与第二触控操作对应的操作指令;
显示终端展示执行结果;
若否,第二副移动终端计算所述第二触控操作的触控参数否与第二操作行为特征之间的差异特征,并基于计算得到的差异特征进行差异行为分类,以确定第二触控操作对应的目标异常分类,将所述目标异常分类发送给第一主移动终端;
第一主移动终端根据接收到的目标异常分类来获取当前第二副移动终端的异常情况。
8.根据权利要求7所述的多屏互动系统,其特征在于,第二副移动终端根据目标课程数据确定当前课程进度对应的允许反应时长;根据第二副移动终端上与用户输入的等待时长,所述等待时长是距离用户上一次通过第二副移动终端输入触控操作的时长;在等待时长大于或等于预设的允许反应时长的情况下,生成预设的提示信息,并发送给第一主移动终端;
第一主移动终端根据接收到的提示信息,确定第二副移动终端可能存在的异常情况。