利索能及
我要发布
收藏
专利号: 2022103934648
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法,其特征在于,包含以下步骤:步骤1)输入数据集;

输入MRI脑瘤图像数据集BraTS2021;BraTS2021数据集中的磁共振图像模态有T1加权成像、T2加权成像、T1ce成像、自由水抑制序列FLAIR四种模态;

输入待分割的二维多模态MRI脑瘤图像;

步骤2)数据增广和数据预处理;

通过对数据集BraTS2021中的三维图像的冠状面进行切片,每个切片要同时获得它其他三种模态的对应位置的切片和分割切片,把切片图像改为4个通道,按顺序分别对应T1加权成像、T2加权成像、T1ce成像、自由水抑制序列FLAIR,得到的二维图像数据集记为

2DBraTS2021;通过对数据集2DBraTS2021中的图像进行裁剪、翻转、旋转、缩放、移位等方式来扩大数据集,这个操作称之为数据增强,数据增强能够增加训练的数据量,提高深度神经网络模型的泛化能力,最后对所有数据进行归一化处理将图像强度值限定在一定的范围内,避免某些异常样本对训练造成不良影响;

步骤3)构建网络模型;

构建分割模型BraTSegNet;分割模型包括一个主干网络和两个关键模块组成,即ResNet主干网络、混合上下文感知HybridContext‑Aware模块,简称HCA模块,和全局注意融合DAF,DualAttentionFusion模块;主干网络从输入的CT图像中提取多层特征;然后,HCA模块对特征进行增强,然后将其输入DAF模块来预测分割图;

首先从主干网络的不同层级中提取多层次特征;然后,低级和高级特征都被输入HCA模块,通过扩大接受域进行增强;需要注意的是,低/高级特征表示更接近主干网络的开始/结束的特征,开始的特征即输入特征,结束的特征即输出特征;然后,使用三个DAF模块来进行特征融合来预测分割图;此外采用深度监督策略,对三个DAF模块的输出和最后一个HCA模块的输出进行监督;使用预训练过的ResNet50的前四层作为BraTSegNet的编码器;特征图的大小减半,两个相邻的残差块RB之间的通道数量增加了一倍;

3.1.构建HCA模块:

HCA模块利用扩大的接受域利用更多的信息特征;一个HCA模块由4个并行分支组成,每个分支都由不同的卷积层组成;特别是,第三个分支利用了串联的不同扩张率的空洞卷积层,即混合空洞卷积,提供了来自不同接受域的丰富的多尺度特征;在融合了多尺度特征后,我们获得了更多的信息特征,提供了丰富的图像信息特征;数学上,HCA模块定义为fHCA=ReLU(Conv3x3(Cat(Conv1×1(fRB),Conv3×3(fRB),fHDC))+Conv1×1(fRB))    (1)fHDC=f3(f2(f1(fRB)))        (2)其中fi表示扩张率为i、卷积核为3×3的空洞卷积单元;Cat(x)表示连接操作;Conv1×1(x)和Conv3×3(x)分别表示卷积核大小为1×1和3×3的卷积单元;fRB表示从主干中提取的特征;

3.2.构建DAF模块:

为了融合HCA模块的丰富特征,提出了一种新的DAF模块;DAF模块利用高级特征生成的注意力权重图来增强低级特征,然后将增强的低级特征与高级特征融合;我们同时考虑了通道注意力和空间注意力机制,把通道注意力ChannelAttention模块,简称CA模块,和空间注意力SpatialAttention模块串联起来,在CA模块中使用平均池,在SA模块中使用最大池;

高级特征经过CA模块和SA模块生成注意力权重图,然后增强低级特征;由经过上采样的高级特征和增强的低级特征的总和作为融合特征;数学上,将DAF模块定义为:和 代表第k级和第k+1级HCA模块提供的特征,k=1,2,3;符号*表示哈达玛积,即元素乘法;Deconv4×4(x)表示核大小为4×4的反卷积操作,它扩大了特征图的大小;WCA是特征经过CA模块后的注意权重矩阵,WSA(x)是SA模块的操作;ArgPool(x)表示平均池化操作,MaxPool(x)表示最大池化操作;σ(x)表示Sigmoid激活函数;

3.3构建损失函数;

采用深度监督策略来设计损失函数;具体来说,在每个DAF模块和最后一个HCA模块中添加了监督,共4个,允许更好的梯度流和更有效的网络训练;对于每个监督,考虑两个损失,即二元交叉熵Binary cross entropy损失,简称BCE损失,和骰子Dice损失;因此,总体损失被设计为Loss=LBCE+LDice    (6)

步骤4)训练策略;

将经过预处理的数据集以6:2:2的比例依次划分为训练集、测试集和验证集;采用随机初始化和Adam优化算法;设置BatchSize,即一次训练所选取的样本数、epoch,即表示回合的意思,训练完所有的数据表示一回合,和合适的初始学习率和每次更新时学习率下降的值;BraTSegNet网络模型中采用反向传播算法BP算法对网络中的权重和偏置进行更新;训练迭代过程中利用步骤3.3所述损失函数进行参数的更新;

根据设置好的训练策略对BraTSegNet网络模型进行训练;首先将ImageNet上预训练的ResNet块参数加载到BraTSegNet网络模型对应的残差块中;然后,使用2DBraTS2021数据集对BraTSegNet网络模型进行训练;训练分割出整个肿瘤wholetumor,简称WT、肿瘤核心tumor core,简称TC,和增强肿瘤区域enhancingtumor,简称ET;

步骤5)评估指标;

评估指标如下所示:

骰子相似性系数DSC:DSC用于测量预测的脑瘤区域与事实脑瘤区域之间的相似性;DSC定义如下:其中VS代表经过模型分割后的数据集,VT代表事实的分割数据;x表示基数计算的运算,它提供了一个集合中的元素的数量;根据此公式分别计算整个肿瘤WT、肿瘤核心TC和增强肿瘤区域ET的骰子相似性系数;

步骤6)使用已训练好的网络模型;

保存已经训练好的网络模型,对待分割的二维多模态MRI脑瘤图像进行语义分割,最后得到已分割图像。