1.一种基于多尺度正交Transformer医学分割方法,包括以下步骤:
1)对输入医学图像使用数据增强得到增强图像视图;
2)将增强图像视图经过Rsetnet50网络进行特征提取得到特征图作为多尺度Transformer结构的输入;
3)根据步骤2)所提取到的特征图将输入特征图划分为不同大小的patch作为取样多样性的保证;
4)根据步骤3)所得到的不同尺度的patch进行embedding操作、位置向量的嵌入等编码操作;
5)根据步骤4)所得到的特征信息进入Transformer解码器进行解码操作;
6)将步骤5)的编码器输出进行上采样得到attention map;
7)将步骤6)获得的每种尺度的attention map计算正交loss;
8)将步骤6)获得的每一种尺度的attention map按照通道方向叠加得到特征图并进行通道还原;
9)将步骤8)得到的通道还原后的特征图经过softmax得到预测的分割结果;
10)循环步骤1)到步骤9)训练分割模型。
2.根据权利要求1所述的一种基于多尺度正交Transformer医学分割方法,其特征在于:步骤2)采用的是ResNet50提取医学图像的视觉特征。
3.根据权利要求1所述的一种基于多尺度正交Transformer医学分割方法,其特征在于:步骤3)是通过在整个模型中加入多种尺度不同的Transformer模块保证每一种尺度获得不同的特征信息。
4.根据权利要求1所述的一种基于多尺度正交Transformer医学分割方法,其特征在于:步骤4)会将不同尺度的patch进行embedding操作、位置向量的嵌入等编码操作。公式为其中Epos为位置编码信息,记录了每一个transformer输入对于原始图像的位置。
5.根据权利要求1所述的一种基于多尺度正交Transformer医学分割方法,其特征在于:步骤5)每一种尺度的Transformer编码器会对输入的特征信息进行编码重组。
6.根据权利要求1所述的一种基于多尺度正交Transformer医学分割方法,其特征在于:步骤6)进行上采样得到attention map,上采样方法采用双线性插值上采样法,其公式为:
7.根据权利要求1所述的一种基于多尺度正交Transformer医学分割方法,其特征在于:步骤7)获得的每种尺度的attention map计算正交loss,每一路的正交loss子项计算公式为:
8.根据权利要求1所述的一种基于多尺度正交Transformer医学分割方法,其特征在于:步骤8)获得的每一种尺度的attention map按照通道方向叠加得到特征图并进行通道还原计算公式如下:
9.根据权利要求1所述的一种基于多尺度正交Transformer医学分割方法,其特征在于:步骤9)将得到的通道还原后的特征图经过softmax得到预测的分割结果。作为当前训练轮次的结果。