1.一种多模态脑图信息融合识别孤独症脑图的方法,其特征在于,包括:S1、对若干已标记标签的被试者的结构磁共振成像、功能磁共振成像、非图像表型数据三种模态数据分别进行预处理,对应得到各已标记标签的被试者的脑区结构数据、脑区功能数据和表型数据,每个标记标签的被试者的脑区结构数据、脑区功能数据和表型数据作为一个样本,从而构建训练样本集;所述标签包括孤独症标签、正常参照标签;
S2、构建识别模型,所示识别模型包括:MRI序列特征编码器、表型特征嵌入模块、融合模块、图卷积模块以及MLP分类器;
所述MRI序列特征编码器根据脑区结构数据、脑区功能数据,融合功能和结构磁共振两种模态图像信息,生成脑区连接边特征矩阵;
所述表型特征嵌入模块用于从表型数据中提取表型特征,通过融合被试者表型和脑区相关性两种模态信息,生成脑区节点特征矩阵;
所述图卷积模块包括依次连接的若干层图卷积网络,以及重要节点选择层;图卷积模块根据输入的脑区连接边特征矩阵、脑区节点特征矩阵及对应的样本的标签,得到显著的感兴趣脑区;
所述MLP分类器根据输入的显著的感兴趣脑区,输出分类结果;
S3、基于步骤S1构建的训练样本集对识别模型进行训练;利用有标签的样本数据和损失定义函数,迭代训练和调识别整模型可学习参数,以达到损失值收敛的目标;
S4、采集待识别对象的结构磁共振成像、功能磁共振成像、非图像表型数据三种模态数据分别进行预处理,将预处理得到的脑区结构数据、脑区功能数据和表型数据输入训练完成的识别模型中,得到分类结果。
2.根据权利要求1所述的一种多模态脑图信息融合识别孤独症脑图的方法,其特征在于,MRI序列特征编码器采用多头注意力机制实现。
3.根据权利要求2所述的一种多模态脑图信息融合识别孤独症脑图的方法,其特征在于,构建脑区连接边特征矩阵的过程为:记输入MRI序列特征编码器的脑区结构数据为Xs,脑区功能数据为Xf;MRI序列特征编码器输出的脑区结构特征记为X′s,脑区功能特征记为X′f;
X′f=Encoder(Xf)
X′s=Encoder(Xs)
其中, 用于表示MRI序列特征编码器
第l层的输入,MRI序列特征编码器第1层的输入表示为 指代Xs或Xf,CONCAT表示拼接操作;head1,head2,…,headh表示多头注意力机制中的各抽头;WMLP表示MRI序列特征编码器用于输出结果的可学习权重矩阵; headi表示第i个抽头,表示第i个抽头的待训练权重矩阵;
对X′s与X′f进行融合,得到融合特征FMRI;
利用融合特征FMRI,生成脑区边连接特征矩阵:
T
A=softmax(FMRI)[softmax(FMRI)]其中,softmax()表示激活函数,上标T表示转置。
4.根据权利要求3所述的一种多模态脑图信息融合识别孤独症脑图的方法,其特征在于,表型特征嵌入模块包括3个全连接层,除最后一个全连接层外,其他2个全连接层后面均加上非线性ReLU激活函数层和Dropout层。
5.根据权利要求4所述的一种多模态脑图信息融合识别孤独症脑图的方法,其特征在于,提取表型特征的过程为:输入非图像表型数据Xp,经表型特征嵌入模块处理后得到表型特征X′p;
对脑区功能数据Xf进行皮尔逊相关计算处理,得到脑区相关性特征矩阵Z′;
融合表型特征X′p和脑区相关性特征矩阵Z′,得到脑区节点特征矩阵Z。
6.根据权利要求5所述的一种多模态脑图信息融合识别孤独症脑图的方法,其特征在于,重要节点选择层基于自注意机制的Top‑k池化实现。
7.根据权利要求6所述的一种多模态脑图信息融合识别孤独症脑图的方法,其特征在于,训练过程中的损失函数为:L=Lcl+αLsim+βLintra+γLinter+ξLTPK其中,α,β,γ,ξ是超参数; ym,c是类别为c的第m个被试者真实标签, 是识别模型对类别为c的第m个被试者的预测值,b表示当前训练批次中被试者的数量,c代表MLP分类器输出的一个分类; 表示弗罗贝尼乌斯范数;
||·||2表示2范数,c∈C,C中包括MLP分类器输出的各不同分类,c i
集合S包含所有标签为c的被试者的样本,A表示第i个被试者的样本生成的脑区连接边特征矩阵A,μc和 是当前批次分组中被试者对应的样本生成的脑区连接边特征矩阵A的均值和方差; μa表示当前批次真实标签为孤独症的被试者分组对应的感兴趣脑区的均值,μb表示当前批次真实标签为正常参照的被试者分组对应的感兴趣脑区的均值; 表示当前批次被选中的第m个被试者对应的第i个感兴趣脑区的注意力得分, 表示当前批次未被选中的第m个被试者对应的第i+k个感兴趣脑区的注意力得分,表示每个被试者的感兴趣脑区总数。