欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2019100440470
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种眼动视频数据的特征提取方法,其特征在于,该方法基于眼动仪本身的存储文件夹,该存储文件夹包含同步导出的视频文件和文本文件,视频文件的视频数据始终显示标示眼睛的图标并间断显示标示分心物的图标,文本文件的文本数据按照时间顺序记录视频帧值,视频帧值即是视频帧图像的顺序值;该方法的实现过程为:S100:获取眼动仪的视频文件和文本文件,在文本文件中查找与视频文件中视频帧图像排序相对应的视频帧值,完成时间信息的提取;

S200:对视频帧图像进行预处理,得到视频帧图像中眼睛和/或分心物的前景图像;

S300:提取前景图像的眼睛坐标和/或分心物坐标,并由同一张视频帧图像的眼睛坐标和分心物坐标计算眼睛和分心物的距离;

S400:将提取的眼睛坐标和/或分心物坐标叠加到视频帧图像中进行验证;

S500:验证成功后,将视频文件的所有视频帧图像的视频帧值、时间、眼睛坐标、分心物坐标、眼睛和分心物的距离作为有效数据导出,并进行存储。

2.根据权利要求1所述的一种眼动视频数据的特征提取方法,其特征在于,提取时间信息的具体操作包括:S110:导出眼动仪的存储文件夹,获取存储文件夹中的视频文件和文本文件;

S120:获取视频文件的名称,通过视频文件的名称,获取与之相对应的文本文件名称;

S130:打开视频文件,读取视频数据,按照顺序获取视频帧图像;

S140:打开文本文件,读取文本数据,文本数据包含眼动仪的记载时间、与记载时间相对应的视频帧值;

S150:根据视频数据中视频帧图像的排序,在文本数据中查找与之相匹配的视频帧值,并提取该视频帧值对应的时间。

3.根据权利要求2所述的一种眼动视频数据的特征提取方法,其特征在于,在眼动仪的存储文件夹中,包含多个人的眼动数据,多个人的眼动数据按照录制先后进行命名;同一个人的眼动数据包括一个文本文件和多个视频文件,文本文件的文本数据除了包含眼动仪的记载时间、与记载时间相对应的视频帧值,还包含视频文件的名称;

在提取时间信息的过程中,应当首先获取视频文件的名称,然后找到与之相对应的文本文件,打开文本文件和视频文件,读取文本数据,查找与视频文件名称相对应的信息,读取视频数据,根据视频帧图像的排序,在文本数据中找到相对应的视频帧值,提取该视频帧值相对应的时间。

4.根据权利要求1所述的一种眼动视频数据的特征提取方法,其特征在于,眼动仪的视频文件中,用空心圆标示眼睛,对视频帧图像进行颜色阈值化处理、高斯滤波,得到视频帧图像中眼睛的前景图像。

5.根据权利要求4所述的一种眼动视频数据的特征提取方法,其特征在于,通过霍夫圆目标检测算法,找到前景图像中的眼睛坐标,其具体操作为:

1)建立图像坐标系:眼睛坐标是以图像左上角为原点建立以像素为单位的直接坐标系u‑v,其中,像素的横坐标u对应x,像素的纵坐标v对应y,分别是在其图像数组中所在的列数和行数建立以像素为单位的图像坐标系x‑y;

2)对输入图像进行边缘检测,得到输入图像的边缘图像,令(xi,yi)(i=1,2,3...n)为图像中满足圆周特性的边缘点集合;

3)对边缘图像上的(xi,yi)计算x方向导数和y方向的导数,从而得到梯度:设图像空间

2 2 2

中的边缘点映射到参数空间中的像素点为(a,b),r为半径,通过公式(x‑a) +(y‑b)=r ,将图像空间中的边缘点映射到参数空间中;

2

4)获取参数空间中的像素点(a,b):在参数空间建立一个累加器,通过公式(a‑xi)+(b‑

2 2

yi) =r,从边缘点(xi,yi)沿着梯度和梯度的反方向,在累加器中累加圆半径区间范围内的每一个像素点(a,b),并保存像素点;

5)从累加器的点中选择候选中心,候选中心大于给定的阈值(Amax)和其相邻的四个邻域点的累加值;

6)获取眼睛坐标:对所有候选中心按照累加值降序排序,以便于找到累加数值最大的参数空间像素点的中心,此中心即为眼睛坐标;

7)获取目标圆半径:将参数空间像素点(a,b)与其中心的距离排序,从眼睛坐标的最小距离算起,选择参数空间像素点累加数值最大的一条半径,即目标圆半径。

6.根据权利要求1所述的一种眼动视频数据的特征提取方法,其特征在于,眼动仪的视频文件中,用十字架形状标示分心物;对视频帧图像进行灰度处理、阈值化处理后转换成二值图像,得到分心物的前景图像。

7.根据权利要求6所述的一种眼动视频数据的特征提取方法,其特征在于,通过多边形逼近算法,结合分心物的大小区间,定位分心物的坐标数据,其具体操作包括:

1)建立图像坐标系:分心物坐标是以图像左上角为原点建立以像素为单位的直接坐标系u‑v,其中,像素的横坐标u对应x,像素的纵坐标v对应y,分别是在其图像数组中所在的列数和行数建立以像素为单位的图像坐标系x‑y;

2)寻找图像中分心物的轮廓,得到分心物的轮廓点;

3)选择图像中两个最远的轮廓点作为初始特征点,将其连成线段;

4)查找轮廓上到线段最远的特征点添加到新的轮廓中,保存特征点;

5)设定最小精度,即逼近多边形的最小阈值;重复4),不断将新的特征点添加到结果中,逐渐逼近分心物形状,直到大于最小阈值,得到的结果近似分心物形状,保存特征点集;

6)通过特征点集,画出多边形,寻找最小面积的包围圆,对其进行定位:设定包围圆半径最小值,如果定位到的多边形大于包围圆半径最小值,那么包围圆圆心坐标即是分心物坐标。

8.一种眼动视频数据的特征提取系统,其特征在于,该系统基于眼动仪本身的存储文件夹,该存储文件夹包含同步导出的视频文件和文本文件,视频文件的视频数据始终显示标示眼睛的图标并间断显示标示分心物的图标,文本文件的文本数据按照时间顺序记录视频帧值,视频帧值即是视频帧图像的顺序值,该系统包括:获取查找模块,用于获取眼动仪的视频文件和文本文件,并在文本文件中查找与视频文件中视频帧图像排序相对应的视频帧值;

匹配提取模块,用于匹配视频文件中视频帧图像和文本文件中视频帧值,并在匹配成功时提取文本文件中该视频帧值所对应的时间信息;

预处理模块一,用于对视频帧图像进行预处理,进而得到视频帧图像中眼睛的前景图像;

预处理模块二,用于对视频帧图像进行预处理,进而得到视频帧图像中分心物的前景图像;

提取模块一,用于提取眼睛前景图像的眼睛坐标;

提取模块二,用于提取分心物前景图像的分心物坐标;

计算模块,基于两点间距离的计算公式,计算得到眼睛和分心物两点间的距离;

验证模块,用于将提取的眼睛坐标和分心物坐标叠加到相应的视频帧图像中进行验证;

导出存储模块,在验证模块验证成功时,将视频帧值、时间信息、眼睛坐标、分心物坐标、眼睛和分心物两点间的距离作为有效信息导出并存储。

9.根据权利要求8所述的一种眼动视频数据的特征提取系统,其特征在于,眼动仪的视频文件中,用空心圆标示眼睛,预处理模块一对视频帧图像进行颜色阈值化处理、高斯滤波处理后,得到视频帧图像中眼睛的前景图像,随后,通过霍夫圆目标检测算法,找到前景图像中的眼睛坐标;

找到眼睛坐标的具体操作为:

1)建立图像坐标系:眼睛坐标是以图像左上角为原点建立以像素为单位的直接坐标系u‑v,其中,像素的横坐标u对应x,像素的纵坐标v对应y,分别是在其图像数组中所在的列数和行数建立以像素为单位的图像坐标系x‑y;

2)对输入图像进行边缘检测,得到输入图像的边缘图像,令(xi,yi)(i=1,2,3...n)为图像中满足圆周特性的边缘点集合;

3)对边缘图像上的(xi,yi)计算x方向导数和y方向的导数,从而得到梯度:设图像空间

2 2 2

中的边缘点映射到参数空间中的像素点为(a,b),r为半径,通过公式(x‑a) +(y‑b)=r ,将图像空间中的边缘点映射到参数空间中;

2

4)获取参数空间中的像素点(a,b):在参数空间建立一个累加器,通过公式(a‑xi)+(b‑

2 2

yi) =r,从边缘点(xi,yi)沿着梯度和梯度的反方向,在累加器中累加圆半径区间范围内的每一个像素点(a,b),并保存像素点;

5)从累加器的点中选择候选中心,候选中心大于给定的阈值(Amax)和其相邻的四个邻域点的累加值;

6)获取眼睛坐标:对所有候选中心按照累加值降序排序,以便于找到累加数值最大的参数空间像素点的中心,此中心即为眼睛坐标;

7)获取目标圆半径:将参数空间像素点(a,b)与其中心的距离排序,从眼睛坐标的最小距离算起,选择参数空间像素点累加数值最大的一条半径,即目标圆半径。

10.根据权利要求8所述的一种眼动视频数据的特征提取系统,其特征在于,眼动仪的视频文件中,用十字架形状标示分心物,预处理模块二对视频帧图像进行灰度处理、阈值化处理后转换成二值图像,得到分心物的前景图像,随后,提取模块二通过多边形逼近算法,结合分心物的大小区间,定位分心物的坐标数据;

提取分心物坐标的具体操作包括:

1)建立图像坐标系:分心物坐标是以图像左上角为原点建立以像素为单位的直接坐标系u‑v,其中,像素的横坐标u对应x,像素的纵坐标v对应y,分别是在其图像数组中所在的列数和行数建立以像素为单位的图像坐标系x‑y;

2)寻找图像中分心物的轮廓,得到分心物的轮廓点;

3)选择图像中两个最远的轮廓点作为初始特征点,将其连成线段;

4)查找轮廓上到线段最远的特征点添加到新的轮廓中,保存特征点;

5)设定最小精度,即逼近多边形的最小阈值;重复4),不断将新的特征点添加到结果中,逐渐逼近分心物形状,直到大于最小阈值,得到的结果近似分心物形状,保存特征点集;

6)通过特征点集,画出多边形,寻找最小面积的包围圆,对其进行定位:设定包围圆半径最小值,如果定位到的多边形大于包围圆半径最小值,那么包围圆圆心坐标即是分心物坐标。