1.一种基于双分支混合模型的医学图像分割方法,其特征在于,包括如下步骤:步骤1、从公开网站上获取现有数据集,将现有数据集预处理成npz格式文件,并将npz格式文件按比例划分为训练集和测试集;
步骤2、构建双分支混合模型;双分支混合模型包括编码器、双分支交叉融合模块、解码器;具体过程为:步骤2.1、构建由卷积神经网络分支和多注意力Transformer分支构成的编码器;卷积神经网络分支包括三个层级的卷积模块;多注意力Transformer分支包括三个层级的多注意力Transformer模块;卷积模块的输出通过跳跃连接输入到多注意力Transformer模块;
具体过程为:
步骤2.1.1、搭建卷积神经网络分支;
根据现有的卷积神经网络模型,选择ResNet50作为卷积神经网络模型的主干;三个层级的卷积模块分支均由RestNet50的各阶段组成;
步骤2.1.2、搭建跳跃连接结构;
跳跃连接结构包括依次连接的1×1卷积、3×3深度卷积层、SE注意力机制、1×1卷积;
卷积模块的输出依次通过1×1卷积、3×3深度卷积层、SE注意力机制、1×1卷积后,输入多注意力Transformer模块;
步骤2.1.3、在SwinTransformer模块的基础上引入交叉协方差注意力机制和外部注意力机制,构建多注意力Transformer模块;将多层级的多注意力Transformer模块作为Transformer分支;
每个多注意力Transformer模块包含两个级联在一起的子模块,两个子模块分别为第一子模块、第二子模块;构建三个层级的多注意力Transformer模块时,每个层级分别含有
2、2、6个多注意力Transformer模块,并且每个层级之间通过补丁合并层连接作为Transformer分支;第一子模块与第二子模块具有相同的归一化层和多层感知机层,第一子模块的输出为第二子模块的输入;
步骤2.2、构建双分支交叉融合模块用于融合两个分支不同分辨率的图像;双分支交叉融合模块的工作过程为:large small
将x 和x 作为输入,先分别融合一个类令牌,然后分别进行位置编码,再然后分别经线性投影及多个ViT模块处理后得到两个分支的输出,将两个分支的输出结果通过交叉注意力机制进行信息融合,最后通过卷积前反馈神经网络模块代替传统的前反馈神经网络来聚合信息,最后对应得到两个不同分辨率的特征图,分辨率分别是(H/4,W/4)和(H/16,W/
16);
步骤2.3、构建由保持卷积层、第一上采样卷积层、第二上采样卷积层和分割头组成的解码器;
步骤3、采用训练集对模型进行训练,采用测试集对模型进行测试;
步骤4、获取当前待分割图像,基于训练完成的双分支混合模型进行图像分割。
2.根据权利要求1所述基于双分支混合模型的医学图像分割方法,其特征在于,所述步骤1中,现有数据集包括腹部数据集和心脏数据集,现有数据集均为3D的nii格式文件,遍历nii格式文件的每个切片,进而将现有数据集保存为npz格式文件。
3.根据权利要求1所述基于双分支混合模型的医学图像分割方法,其特征在于,所述步骤2.1.1中,卷积神经网络分支的工作过程为:输入的原始图像依次经过三个卷积模块,得到3种不同分辨率的特征图,分辨率依次为(H/4,W/4)、(H/8,W/8)、(H/16,W/16),其中H、W分别为原始图像的宽度、高度;将分辨率为(H/4,W/4)和(H/16,W/16)的特征图分别表示为large smallx 和x 。
4.根据权利要求3所述基于双分支混合模型的医学图像分割方法,其特征在于,所述步骤2.1.3中,每个多注意力Transformer模块的工作过程为:特征图在第一子模块中先通过第一归一化层进行第一次层归一化处理,然后使用交叉协方差注意力机制关注特征图的通道,进行残差连接后通过第二归一化层进行第二次层归一化处理,将第二次层归一化后的结果输入到多层感知机层进行多层感知机操作,最后经过残差连接层得到第一子模块的输出;第一子模块的工作过程公式化为:l‑1 l
其中,z 为第一子模块的输入, 为第一子模块中第二归一化层的输入,z 为第一子模块的输出;LN(·)为层归一化处理;CA(·)为交叉协方差注意力机制;MLP(·)为多层感知机;
将第一子模块的输出作为输入传进第二子模块,第二子模块的第三归一化层进行第三次层归一化处理,然后使用外部注意力关注不同样本之间的关联,进行残差连接后通过第四归一化层进行第四次层归一化处理,将第四次层归一化后的结果输入到多层感知机层进行多层感知机操作,最后经过残差连接层得到第二子模块的输出;第二子模块的工作过程公式化为:l+1
其中, 为第二子模块中第四归一化层的输入;z 为第二子模块的输出;EA(·)为外部注意力机制;
将卷积神经网络三个层级的输出以跳跃连接的方式对应输入三个层级的多注意力Transformer模块,同样得到3个不同分辨率的特征图,分辨率分别为(H/4,W/4)、(H/8,W/
8)、(H/16,W/16)。
5.根据权利要求4所述基于双分支混合模型的医学图像分割方法,其特征在于,所述步骤2.2中,卷积前反馈神经网络模块公式化为:ConvFFN(x)=Conv(DWConv(GELU(Conv(x)))) (5);
其中,x为卷积前反馈神经网络模块的输入;ConvFFN(·)为卷积前反馈神经网络模块;
Conv(·)为3×3卷积;DWConv(·)为深度卷积;GELU(·)为激活函数;
large
对于x 这一分支,交叉注意力机制公式化为:
large large large
其中, 为类令牌,C1为x 通道数;f (·)和g (·)分别表示large large large
x 分支的尺寸对齐投影和尺寸反对齐投影;y 为x 分支的尺寸反对齐投影的输入,large largez 为x 分支的交叉注意力机制的输出;
small
对于x 这一分支,交叉注意力机制公式化为:
small small small
其中, 为类令牌;C2为x 通道数;f (·)和g (·)分别表示small small small
x 分支的尺寸对齐投影和尺寸反对齐投影;y 为x 分支的尺寸反对齐投影的输入;
small small
z 为x 分支的交叉注意力机制的输出。
6.根据权利要求5所述基于双分支混合模型的医学图像分割方法,其特征在于,所述步骤2.3中,第一上采样卷积层、第二上采样卷积层中使用的上采样卷积层结构完全相同;
保持卷积层输入的特征图分辨率为(H/4,W/4),保持卷积层用于保持特征图分辨率不变;保持卷积层包括一个3×3卷积、组归一化层和ReLU激活函数;
第一上采样卷积层输入的特征图的分辨率为(H/16,W/16),通过第一上采样卷积层使特征图的分辨率变为(H/4,W/4);
第二上采样卷积层的输入为保持卷积层输出和第一上采样卷积层输出进行相加后的结果;
每个上采样卷积层均包含一个3×3卷积、双线性插值上采样、组归一化层和ReLU激活函数;上采样卷积层公式化为:UpConv(x)=Up(ReLU(GN(Conv(x)))) (8);
其中,UpConv(·)为上采样卷积层;GN(·)为组归一化;Up(·)为双线性插值上采样;
ReLU(·)为ReLU激活函数;
分割头输入的特征图的分辨率为(H,W),通过使用一个3×3卷积,将输入特征图的通道数调整为所需数量,同时保持特征图的分辨率不变,完成分割任务;
解码器的工作过程为:双分支交叉融合模块输出两个不同分辨率的特征图,其中分辨率为(H/4,W/4)的特征图经过保持卷积层处理,以保持其分辨率不变;而分辨率为(H/16,W/
16)的特征图则经过两个第一上采样卷积层,使特征图分辨率上升到(H/4,W/4);然后将分辨率为(H/4,W/4)的两个特征图进行相加,然后输入到两个第二上采样卷积层,以将分辨率进一步提升至(H,W);最后,将经过调整通道数的分辨率为(H,W)的特征图输入到分割头,完成最终的分割任务,得到分割图像。