利索能及
我要发布
收藏
专利号: 2022117068171
申请人: 西南大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多模态特征融合的抗NMDAR脑炎预后分类方法,其特征是,包括步骤:S1、基于确诊为抗NMDAR脑炎的病例,获取对应的患者MRI图像和临床特征;

S2、构建MRI特征提取器,提取患者的影像特征;

S3、构建多模态特征融合模型,将影像特征和临床特征跨模态融合,生成信息更加丰富的融合特征,并通过通道信息引导模块提升融合性能;

构建的多模态特征融合模型包括步骤:

S321、将卷积神经网络提取的MRI影像特征通过1×1卷积缩减通道数;

S322、多序列MRI影像特征通过动态归一化权重层被赋予权重,并在通道维度上拼接;

S323、拼接后的多序列MRI融合特征通过通道信息引导模块赋予注意力权重,并经过1×1卷积恢复通道数;

S324、临床特征被划分为连续变量和分类变量,并分别提取语义信息,最终将所有语义信息在通道维度上拼接,得到完整的临床特征;

临床特征的提取方式为:临床特征被分为连续变量和分类变量,其中,连续变量通过BatchNorm层提取语义信息;分类变量首先由特定维度的Embadding层提取词向量,再经过Bi‑LSTM层提取分类变量语义信息;这些语义信息随后在通道维度上拼接,形成最终的临床语义特征;

S325、多序列MRI特征和临床特征经过多层感知机调整尺寸后,两者经过动态归一化权重层进行拼接,拼接后的特征经过通道信息引导模块赋予注意力全中,得到最终的融合特征;

S4、基于融合特征构建抗NMDAR脑炎预后分类器,并通过多模态数据集对其进行训练;

S5、将待分类的抗NMDAR脑炎患者的MRI图像与临床特征输入到训练好的分类器中,获得预后分类结果。

2.根据权利要求1所述的一种基于多模态特征融合的抗NMDAR脑炎预后分类方法,其特征是,步骤S2中,对一名患者对应的MRI进行影像特征提取的方法包括步骤:S21、将三维的MRI投影到二维空间,得到的二维图像序列作为图像输入;

S22、将不同尺寸的图像序列通过双线性插值法统一为512×512;

S23、构建用于二维图像序列特征提取的卷积神经网络,该神经网络基于具有残差结构,并通过通道信息引导模块增强特征提取性能;

S24、将二维图像序列输入到卷积神经网络,进行MRI特征提取。

3.根据权利要求2所述的一种基于多模态特征融合的抗NMDAR脑炎预后分类方法,其特征是,步骤S3、S23中,通道信息引导模块包括步骤:S311、通过全局平均池化和全局最大池化提取输入特征的两个独立的上下文信息;

S312、使用多层感知机处理上下文信息,并将两者逐元素相加;

S313、通过Sigmoid函数获得注意力权重;

S314、将注意力权重赋予经过多层感知机处理的输入特征,得到输出特征。

4.根据权利要求1所述的一种基于多模态特征融合的抗NMDAR脑炎预后分类方法,其特征是,步骤S4中,构建的抗NMDAR脑炎预后分类器为:在经过多模态特征融合模型后,由患者的影像特征与临床特征得到的融合特征,通过两层全连接层得到最终的预后分类结果。

5.根据权利要求1所述的一种基于多模态特征融合的抗NMDAR脑炎预后分类方法,其特征是,步骤S5中,训练好的抗NMDAR脑炎预后分类模型中,性能评估参数包括:其中,AUC指药时曲线下面积,是药动学参数;Accurary为准确性;

Specificity为特异性;Sensitivity为敏感度;M为正样本个数;N为负样本个数;TP指真阳性样本;TN指真阴性样本;FP指假阳性样本;FN指假阴性样本。