1.一种基于脑眼融合的多模态视频流目标检测方法,其特征在于:具体包括以下步骤:
步骤1、制作脑机实验范式
在多个地点采用不同角度拍摄目标行人视频,制作成快速视觉呈现范式;
步骤2、采集脑电数据和眼动数据
向被试播放步骤1中制作的视频内容,同步采集被试在观看视频内容时的脑电数据和眼动数据;
步骤3、数据预处理与样本对构建
对步骤2采集到数据进行预处理,得到脑电样本和眼动样本,并根据标签构建正负样本对;然后将脑电样本与眼动样本按顺序一一对应,在通道维度进行拼接,得到拼接样本;
步骤4、提取脑电特征和眼动特征
将一个样本对中的两个样本依次输入特征提取模型中,首先使用多头自注意力机制提取时空间注意力权重,获得不同维度之间的依赖关系,然后进行时间维度和空间维度的特征提取,从而得到两个样本的特征向量;
步骤5、对比学习
将一个样本对的两个特征向量映射到向量空间中,计算两个特征向量之间的空间距离,并通过损失函数对空间距离进行反向传播,更新特征提取模型的参数;
步骤6、多模态特征融合
将脑电样本、眼动样本依次输入经过对比学习后的特征提取模型中,将对应的拼接样本输入未进行对比学习的特征提取模型中,分别得到三个样本对应的特征向量,再输入分类器中,利用下采样的类别平衡数据对分类器进行训练,得到三个样本的独立预测结果;然后,训练一组自适应的可学习权重,用于将三个独立的预测结果融合在一起,从而输出最终的预测结果;
步骤7、线上视频目标检测
采集被试观看视频时产生的脑电数据和眼动数据,处理后输入步骤6训练好的特征提取模型与分类器中,得到对未知样本有无目标、目标出现和消失的预测,然后将预测结果为目标出现的样本的眼动数据取出,根据注视点和注视时间绘制注视区域,生成热点图,获得目标的运动轨迹。
2.如权利要求1所述一种基于脑眼融合的多模态视频流目标检测方法,其特征在于:制作脑机实验范式时,在多个地点以不同角度模拟监控摄像头拍摄视频流,目标为特定的一个人;将视频流剪辑成多个总时长10秒的视频片段,部分视频片段中有目标出现,其余视频片段中无目标出现;在无目标出现的视频中,与目标无关的物品和行人随机出现,用于干扰被试的判断;在有目标出现的视频中,目标出现的时间和位置随机,使用的交通工具随机,且衣饰不同,在部分视频中目标存在部分遮挡,同时与目标无关的物品和行人随机出现;经过剪辑后,在有目标出现的视频片段中,目标会在视频的第1s至第4s出现,并在对应视频的第5s至第8s消失,目标出现的持续时间均为4s。
3.如权利要求1所述一种基于脑眼融合的多模态视频流目标检测方法,其特征在于:使用64通道的Neuroscan设备进行非侵入式脑电采集,采用10‑20系统电极放置法,采集前所有电极的阻抗均保持在15KΩ以下,采样率为1000hz;使用SMI眼动仪进行眼动数据采集,被试被要求在未识别到目标时,注视屏幕正中心,观察到目标时,视线随目标移动,目标消失后继续注视屏幕正中心。
4.如权利要求1所述一种基于脑眼融合的多模态视频流目标检测方法,其特征在于:对采集到的脑电数据进行预处理,首先,对标记的坏道进行插值重建,然后进行巴特沃斯带通滤波处理,将信号滤波至0.1‑40Hz;接着,将数据降采样至250Hz,并标记出无目标、目标出现和目标消失时的ERP特征;然后将数据划分为多个片段,使用刺激开始前300ms的脑电数据对刺激开始后1500ms的脑电数据进行基线校准;对于无目标的脑电数据,按一定间隔切片作为无目标样本;对于有目标的数据,取目标出现前300ms至出现后1200ms的数据作为目标出现样本,取目标消失前300ms至目标消失后1200ms的数据作为目标消失样本。
5.如权利要求1所述一种基于脑眼融合的多模态视频流目标检测方法,其特征在于:对采集的眼动数据,首先降采样至250Hz;然后标记无目标、目标出现和目标消失时的注视点坐标和左右眼瞳孔大小,并按照时间戳划分片段,得到眼动样本。
6.如权利要求1所述一种基于脑眼融合的多模态视频流目标检测方法,其特征在于:将处理后的脑电样本按照无目标、目标出现、目标消失的标签构建正负样本对,同类别两两组合形成3种正样本对,不同类别两两组合形成3种负样本对,正负样本对的数量相等;将处理后的眼动样本按照同样方法正负样本对,眼动样本对的数量大于脑电样本对的数量。
7.如权利要求1所述一种基于脑眼融合的多模态视频流目标检测方法,其特征在于:使用EEGNet对经过多头自注意力机制的样本进行特征提取。
8.如权利要求1所述一种基于脑眼融合的多模态视频流目标检测方法,其特征在于:使用两个全连接层和一个激活层将样本对的特征向量展开、激活、降维,得到对应的估量值xz1、xz2:其中,δ‘()表示ELU函数,W∈R是一维卷积层的参数,g表示激活层和一维自适应卷积函数, 是两个全连接层的参数,r为超参数,表示缩放倍数;
sim
计算估量值xz1、xz2之间的余弦相似度z 来返回损失函数Loss:
其中M是负样本对的集合,N是正样本对的集合,bb表示偏置值。
9.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1~8中任一项所述的方法。