利索能及
我要发布
收藏
专利号: 202110652321X
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种结合多模态信息的脑肿瘤图像分割方法,其特征在于,所述方法包括以下步骤:步骤1数据预处理

脑肿瘤的数据首先要进行重采样过程,减少因为模态输入之间导致的差异,之后进行正则化是通过坐标尺度变换使脑组织的数据归一到一个小的数据范围内;可能会出现不同模态显示的区域不一致的情况;

步骤2将处理好的数据分割为图像小块

将图片剪切为大小是32×32×32大小的图像小块,然后将分割出的小块叠加,最后得到patches_t1.npy,patches_t1ce.npy,patches_t2.npy,patches_fl.npy,patches_gt.npy五个npy文件;

步骤3构建先验网络来提取模态特征的共有特征和特有特征

首先训练各个模态单独的特征,然后再将多模态输入Unet网络来提取多模态之间的共有特征,同时通过在底层卷积特征添加新的损失函数使得共有特征与特有特征之间有区分;通过训练得到各层特征的训练权重;

步骤4训练多模态特征融合网络

通过上一个步骤得到的各层特征训练权重,在三模态的输入状态下,三个模态特有特征以及一个多模态共有特征放入attentionblock内进行训练,再经过上采样与真值比较,得到结果;

所述的步骤4中,构建先验网络包含以下步骤:

4.1attentionblock模块是融合的关键,各个特征作为输入后进行最大池化之后再进行1×1×1的卷积来提取各个输入的图像特征,之后再经过squeeze和concat函数将各个特征链接起来放入FC全卷积网络,并将结果放入softmax函数作为融合权重,得到权重之后将输入的特征按照各自权重进行叠加形成跳转连接,拼接到上采样对应的特征中来补充因为下采样而损失的信息,使得预测结果更准确;

4.2将步骤3所训练好的网络特征权重信息配置到对应的下采样通道,分别有ET1,ET1ce,ET2,Emi四个下采样通道,T1,T1ce,T2分别代表对应模态的独特特征,mi代表其共有特征,多模态特征融合网络训练部分是除四条下采样通道之外的MFN网络。

2.如权利要求1所述的一种结合多模态信息的脑肿瘤图像分割方法,其特征在于,所述的步骤3中,构建先验网络包含以下步骤:

3.1将不同模态输入Unet网络中,先提取到模态独有的特征,这样会得到他们的.pth训练网络的权重信息;权重信息将会应用在步骤四MFN网络的下采样的通道中;

3.2训练模态共有特征,为了共享权重以得到更好的共有特征,将模态输入Unet网络时不区分具体是那个模态,并且在第四层第二次卷积后的特征加入一个损失值KL距离,即Kullback‑Leibler差异,共有特征应当与模态的特有特征重合度最低,所以以其中,p(x)是共有特征,q(x)是各个模态特有特征,当loss越小时说明共有特征和特有特征的重合度较小,作为网络的第二个损失函数加在dice损失系数上作为整体的损失函数,当共有特征与T1ce模态特有特征重合度最低时,实验的结果最好。