1.面向协同交互的多用户眼动跟踪数据可视化方法,包括如下步骤:(1)眼动跟踪数据计算;
利用带有红外光的摄像装置拍摄人眼图像,并对人眼图像进行二值化处理,然后用高斯核函数进行滤波,去除人眼图像中的噪声;进一步对人眼图像进行特征提取,得到人眼瞳孔中心和红外光反射光斑的中心,并计算两者构成的向量,最后进行标定过程,建立向量与显示屏幕注视点之间的映射关系,进一步通过拟合计算得到其他眼动跟踪注视点坐标;
(2)眼动跟踪数据处理;
为了保证眼动跟踪注视点数据的有效性,需要剔除无效的眼动跟踪注视点;具体的眼动跟踪数据处理过程如下:设置阀值r1为显示屏幕分辨率的宽,r2为显示屏幕分辨率的长;
当眼动跟踪注视点的横坐标x的值小于r1且其纵坐标y的值小于r2时,判断该注视点位于显示屏幕内,该注视点数据予以保留;否则,判断该注视点不在显示屏幕上,该注视点数据予以舍弃;
(3)眼动跟踪数据记录;
在眼动跟踪数据存储单元,为每个用户建立一个存储队列,用于记录该用户的眼动跟踪数据;具体的眼动跟踪数据记录过程如下:设置变量z用来表示队列的最大容量,设置变量s用来表示当前队列的眼动跟踪注视点个数;当眼动跟踪注视点数据存入队列时,s=s+
1,且当s=z时,可以把队列中的眼动跟踪注视点数据记录到外部存储单元,用作后续分析使用,此时设s=0,并把队列中的眼动跟踪注视点数据清空;然后开始下一循环的眼动跟踪数据记录过程;
(4)眼动跟踪数据传输;
每个用户的眼动跟踪数据通过中转机制先进行集中,再分发给协同交互的相关用户;
眼动跟踪数据在传输之前,需要封装进具有一定结构的数据包;数据包的结构由一个数据头、若干个数据块和校验位组成;数据头包括命令代码、数据类型、数据块大小和数据总长度,其中,命令代码描述该数据包的作用;数据类型描述数据内容的数据格式;数据块大小描述每个数据块的容量大小;数据总长度描述数据内容的容量大小;数据块存储眼动跟踪注视点坐标;校验位是为了确保数据包的完整性和准确性,如果校验位预设数值和眼动跟踪数据传输之后接收到的数值不一样,则说明数据传输过程中出现错误,当前传输的数据予以舍弃,并请求再次传输;
(5)眼动跟踪数据可视化;
当用户有意识的在观察显示屏幕时,其眼动跟踪注视点在显示屏幕上一个相同区域,停留一定时间以上,则定义该区域为视觉感兴趣区AOI;在多个用户进行协同交互的应用场景下,用户A和用户B在各自的显示屏幕上可以看到对方的眼动跟踪数据可视化形式,及其相对应的视觉感兴趣区;以下具体提出4种眼动跟踪数据可视化形式:A.注视点实时显示;
使用圆点作为用户眼动跟踪注视点的表现形式,带颜色小圆点表示当前另一个用户的眼动跟踪注视点,小圆点的位置以预定的频率进行实时更新,从而具体表示另一个用户在当前视觉感兴趣区的注视点位置变化情况;
B.视觉感兴趣区边框;
当用户眼动跟踪注视点停留在某个AOI时,该AOI会出现有颜色的边框;设定当前AOI边框的宽度W=10*(FC/FCS),其中,FC为用户在当前AOI的注视点个数,FCS为用户在当前显示屏幕上所有AOI已产生的注视点数目;W以像素为单位,并以一定的频率进行更新,当用户对某一个AOI观察的时间越长,产生的注视点越多,边框就逐渐变宽,从而说明该用户对该AOI的视觉关注程度较高,并将这一信息告知给其他用户;
C.视觉感兴趣区背景灰度;
由于用户会对某个比较重要或难以理解的AOI内的信息进行多次查看,因此用该AOI的背景灰度表示查看次数;设定当前AOI的背景灰度G=255‑5*N,其中N为用户截止当前时刻查看该AOI的次数,G以灰度值为单位,G的取值范围为0‑255,初始值为0;当G小于0时,令G=
0,并以预定的频率进行更新,当用户对某一个AOI观察的次数越多,背景灰度值逐渐降低,灰度逐渐加深,从而说明该用户对该AOI的关注次数较多,并将这一信息告知给其他用户;
D.多个视觉感兴趣区之间连线;
当用户视线在不同AOI之间切换时,用连线表示用户眼动跟踪注视点在两个AOI之间的转移频次;进一步,连线的宽度表示用户在不同AOI之间的转移频次;设定当前连线的宽度LW=1*LN,LN为用户在当前两个AOI之间的转移频次,LW以像素为单位,并以预定的频率进行更新,因此,当转移频次逐渐变高,连线也就逐渐变粗;此外,用不同颜色的连线表示不同AOI之间的眼动跟踪注视点转移情况。
2.实施如权利要求1所述的面向协同交互的多用户眼动跟踪数据可视化方法的系统,其特征在于:包括依次连接并馈送数据的眼动跟踪数据计算模块、眼动跟踪数据处理模块、眼动跟踪数据记录模块、眼动跟踪数据传输模块、眼动跟踪数据可视化模块:(1)眼动跟踪数据计算模块,提取人眼图像中的瞳孔和普尔钦斑,计算瞳孔和普尔钦斑中心坐标,然后以瞳孔中心和普尔钦斑中心建立瞳孔‑角膜反射向量,进而建立眼动跟踪映射模型,计算眼动跟踪注视点在显示屏幕上的坐标;
(2)眼动跟踪数据处理模块,对原始眼动跟踪数据进行预处理,剔除无效的眼动跟踪数据,具体为坐标超出显示屏幕之外的注视点;
(3)眼动跟踪数据记录模块,通过建立一定的数据结构,具体为队列,存储眼动跟踪数据,并进一步将超过内部存储容量的数据转移到外部存储单元;
(4)眼动跟踪数据传输模块,通过建立用户终端‑服务器的架构进行传输,每个用户的眼动跟踪数据由终端发出,然后通过服务器实现不同用户眼动跟踪数据的集中和分发;而服务器将其他用户的眼动跟踪数据封装进相应的数据包发送给一个指定的用户;
(5)眼动跟踪数据可视化模块,通过服务器在不同的用户之间共享眼动跟踪数据之后,在用户终端的显示屏幕上,以不同的可视化形式展现其他用户的眼动跟踪数据,具体可视化形式包括注视点实时显示、视觉感兴趣区边框、视觉感兴趣区背景灰度、多个视觉感兴趣区之间连线。