利索能及
我要发布
收藏
专利号: 2024105594353
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于人脑fMRI重建视觉刺激图像的方法,其特征在于,包括:

获取fMRI数据集,对所述fMRI数据集进行预处理,从所述fMRI数据集中提取fMRI体素数据,通过进行patch遮罩后,对所述fMRI体素数据的空间冗余进行稀疏编码处理,以得到体素小块;

将所述体素小块通过一维卷积层转化成嵌入token,将嵌入token随机遮罩至编码器中,在编码器的末端添加掩码符号和位置嵌入以及patch编码,并通过线性投影转化为解码器的嵌入空间,得到fMRI的潜在特征;

获取fMRI对应的图像和文本数据集,在所述fMRI对应的图像和文本数据集中利用训练好的CLIP模型提取CLIP的视觉特征和文本特征,对CLIP的视觉特征进行解码,得到初步图像;

通过自编码器对所述初步图像进行编码,利用所述fMRI的潜在特征和CLIP的文本特征根据交叉注意矩阵通过线性插值混合,得到像素重建。

2.如权利要求1所述的基于人脑fMRI重建视觉刺激图像的方法,其特征在于,通过进行patch遮罩后,对所述fMRI体素数据的空间冗余进行稀疏编码处理,以得到体素小块,包括,将fMRI体素数据进行patch遮罩后对fMRI体素数据进行特征提取,利用稀疏编码技术对提取的特征进行编码,将每个patch表示为一个稀疏向量,并保留原始数据的信息,完成稀疏编码来处理fMRI体素数据的空间冗余。

3.如权利要求1或2所述的基于人脑fMRI重建视觉刺激图像的方法,其特征在于,将所述体素小块通过一维卷积层转化成嵌入token,将嵌入token随机遮罩到编码器中,在编码器的末端添加掩码符号和位置嵌入以及patch编码,并通过线性投影转化为解码器的嵌入空间,得到fMRI的潜在特征,包括,将矢量化的体素分成小块,使用步长等于小块大小的一维卷积层将小块转换为嵌入token,将得到的嵌入token以预设的概率随机选择将嵌入token遮罩或者屏蔽掉;

随机遮罩后送入编码器中,在编码器的末端嵌入掩码符号和位置嵌入以及patch编码,将掩码符号和位置嵌入以及patch编码转换为同一维度,得到嵌入空间的特征矩阵;

将嵌入空间的特征矩阵与投影矩阵相乘实现线性投影,得到fMRI的潜在特征。

4.如权利要求3所述的基于人脑fMRI重建视觉刺激图像的方法,其特征在于,在所述fMRI对应的图像和文本数据集中利用训练好的CLIP模型提取CLIP的视觉特征和文本特征,包括,将fMRI对应的图像和文本数据集输入到CLIP网络中,分别提取fMRI对应的文本特征和视觉特征;

通过向训练好的CLIP模型输入训练图像和文本,提取CLIP视觉特征和CLIP文本特征,将CLIP视觉特征和CLIP文本特征作为预测目标,把fMRI通过文本回归器和视觉回归器预测出的文本特征和视觉特征作为预测值,最小化预测值与预测目标之间的差距来训练CLIP回归器建立fMRI与CLIP视觉特征和CLIP文本特征之间的映射。

5.如权利要求4所述的基于人脑fMRI重建视觉刺激图像的方法,其特征在于,对CLIP的视觉特征进行解码,得到初步图像,包括,将视觉回归器预测出的CLIP视觉特征,输入到训练好的CLIP视觉解码器中,将CLIP视觉特征进行解码,重建出输入到扩散模型中的初步图像。

6.如权利要求5所述的基于人脑fMRI重建视觉刺激图像的方法,其特征在于,通过自编码器对所述初步图像进行编码,包括,使用自编码器对CLIP图像解码器重建的图像,即初步图像进行编码,在潜在向量上添加噪声,进行设定步数的向前扩散,将有噪声的潜在向量作为扩散模型的初始化,并进行去噪,在反向扩散的每一步中,通过扩散模型的双导扩散管道利用提取的fMRI的潜在特征和CLIP文本特征对反向扩散过程进行调节。

7.如权利要求6所述的基于人脑fMRI重建视觉刺激图像的方法,其特征在于,利用所述fMRI的潜在特征和CLIP的文本特征根据交叉注意矩阵通过线性插值混合,得到像素重建,包括,混合注意力矩阵为  乘以CLIP的视觉注意力矩阵加 乘以CLIP的文本注意力矩阵,其中 为超参数;

使用自解码器将扩散结果重建成设定像素图片。

8.一种应用如权利要求1所述的基于人脑fMRI重建视觉刺激图像的方法的系统,其特征在于,包括:提取数据模块,用于获取fMRI数据集,对所述fMRI数据集进行预处理,从所述fMRI数据集中提取fMRI体素数据,通过进行patch遮罩后,对所述fMRI体素数据的空间冗余进行稀疏编码处理,以得到体素小块;

线性转化模块,用于将所述体素小块通过一维卷积层转化成嵌入token,将嵌入token随机遮罩至编码器中,在编码器的末端添加掩码符号和位置嵌入以及patch编码,并通过线性投影转化为解码器的嵌入空间,得到fMRI的潜在特征;

特征提取模块,用于获取fMRI对应的图像和文本数据集,在所述fMRI对应的图像和文本数据集中利用训练好的CLIP模型提取CLIP的视觉特征和文本特征,对CLIP的视觉特征进行解码,得到初步图像;

解码模块,用于通过自编码器对所述初步图像进行编码,利用所述fMRI的潜在特征和CLIP的文本特征根据交叉注意矩阵通过线性插值混合,得到像素重建。

9.一种电子设备,包括:

存储器和处理器;

所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至7任意一项所述基于人脑fMRI重建视觉刺激图像的方法的步骤。

10.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至7任意一项所述基于人脑fMRI重建视觉刺激图像的方法的步骤。