1.一种基于多模态动态图卷积神经网络的抑郁症图像分类方法,其特征在于,包括如下步骤:步骤一,利用滑动窗口法将功能磁共振成像数据的时间序列分割为多个非重叠的时间窗口,每个 窗口通 过计 算脑区 间时间 序 列的相 关生成 功能连 接矩阵表示在时间窗口 内的全脑功能连接模式, 为脑区数量, 为窗口总数,以此量化脑区之间的功能连通性;
步骤二,通过多通道空间注意力对比网络来提取高阶时空拓扑特征;对于每个时间窗
1 2
口,通过随机掩码生成两个视图g(t)和g(t),脑区 和 的注意力系数 计算如下:;
其中, 为可学习的权重矩阵, 为注意力向量,表示特征拼接操作,注意力系数通过随机掩码进行处理,最终,节点特征通过加权聚合更新为:;
其中, 为可学习的权重矩阵;
步骤三,引入对比学习约束,时空特征的融合通过自注意力机制和LSTM实现,通过缩放点积注意力来计算高阶动态功能网络DBNs;
步骤四,对输入DBNs和结构脑网络进行独立编码,生成模态特定的嵌入特征;
步骤五,通过双边图卷积在动态图结构上分别聚合DBNs与结构的模态特征;
步骤六,对DBNs模态、结构模态和多模态联合特征分别使用辅助分类器,分别输出单模态预测概率分布和多模态预测概率分布,随后通过KL散度约束多模态预测与单模态预测的一致性;模型采用渐进式权重调整;
所述步骤六中,DBNs模态的辅助分类器接收图卷积后的特征 ,结构模态的辅助分类器接收图卷积后的特征 ,多模态联合特征的辅助分类器接收图卷积后的特征 ,三个模态分别输出单模态预测概率分布 , 和多模态预测概率分布 ,所述辅助分类器由全连接层与SoftMax函数构成。
2.如权利要求1所述的基于多模态动态图卷积神经网络的抑郁症图像分类方法,其特征在于,所述步骤三中,窗口内对比损失 通过最大化同一时间窗口在不同增强视图中的特征相似性,同时最小化不同脑区之间的相似性;这些对比约束使得模型可以学习到具有判别意义的时空特征;将每个窗口的嵌入向量 映射为Query、Key和Value矩阵。
3.如权利要求1或2所述的基于多模态动态图卷积神经网络的抑郁症图像分类方法,其特征在于,所述步骤四中,对于DBNs对应特征 和结构脑网络对应特征 ,计算模型的跨模态映射矩阵 ;随后将 进行归一化处理,使其成为双随机矩阵,最后得到跨模态关联权重矩阵 ,归一化后的矩阵 被用于跨模态特征映射,其反映了在跨模态融合时的权重分配。
4.如权利要求1所述的基于多模态动态图卷积神经网络的抑郁症图像分类方法,其特征在于,所述步骤六中,模型采用渐进式权重调整的过程为:蒸馏损失的权重 随训练轮次 线性增长,训练初期 , 接近0,模型依赖计算多模态预测结果 与真实标签的交叉熵损失 来训练学习。