1.一种根据脑电信号重建人类视觉信息的方法,其特征在于,包括:
S0、获取同一时刻人眼所观测场景的图像,并采集该时刻人体对应的EEG 序列;
S1、采用时频域编码器,提取EEG 序列的时域特征、频域特征;时频域编码器采用与DreamDiffusion相同的时域编码器结构,提取EEG 序列的时域特征;采用Conv‑LSTM作为频域编码器,提取EEG 序列的频域特征;
还包括对时域编码器和频域编码器进行训练,并将训练完成的时域编码器和频域编码器输出的时域特征和频域特征进行拼接,然后将拼接后的结果输入语义分类器中;
S2、将EEG序列的时域特征、频域特征拼接结果输入语义分类器,得到脑电图分类标签;
语义分类器具体为数个线性层堆叠而成的多层感知机;
S3、使用预训练的IP‑Adapter 模型基于步骤S0获取的人眼所观测场景的图像,生成图像特征嵌入;
S4、基于步骤S3得到的图像特征嵌入,对步骤S1提取的EEG 序列的时域特征、频域特征拼接结果进行对齐处理;步骤S4使用具有残差连接的全连接层组成的网络,来对EEG 序列的时域特征、频域特征进行对齐;
S5、将对齐后的EEG 序列的时域特征、频域特征拼接结果以及脑电图分类标签,一起作为级联扩散模型的条件,用于多层次语义视觉重建。
2.根据权利要求1所述的一种根据脑电信号重建人类视觉信息的方法,其特征在于,步骤S3中对齐采用的网络结构包括2个全连接层,2个全连接层之间通过残差连接进行连接。
3.根据权利要求2所述的一种根据脑电信号重建人类视觉信息的方法,其特征在于,还包括对对齐采用的网络结构进行训练,训练过程采用的损失函数为:最大化EEG 序列的时域特征、频域特征的对齐结果与步骤S3的图像特征嵌入之间的余弦相似度。