利索能及
我要发布
收藏
专利号: 2024105547827
申请人: 中南大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-05-17
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于特征交互的医学图像分割方法,其特征在于,基于训练完成后的特征交互分割模型,包括以下步骤:步骤1,将待分割的医学图像输入特征交互分割模型中由CNN和Transformer组成的并行双分支编码器中,分别提取各个尺度的局部和全局特征图,得到在不同尺度上的双分支特征图;

步骤2,将对应尺度的双分支特征图分别输入相应的注意力特征融合模块,通过注意力引导机制来进行局部特征和全局特征的交互融合,得到多层融合特征;

步骤3,将步骤2中得到的多层融合特征中最底层的融合特征输入多尺度特征聚合模块中,通过聚合局部信息、捕获多尺度上下文和建模通道间关系来挖掘更多的语义细节,得到多尺度聚合特征;

步骤4,将步骤2中得到的多层融合特征和步骤3中得到的多尺度聚合特征经跳跃连接输入多层级特征桥接模块中,通过桥接多层级特征来辅助特征交互,从而得到多尺度特征信息;

步骤5,将步骤3中得到的多尺度聚合特征进行上采样,再与步骤4中得到的多尺度特征信息逐元素求和后,作为多阶段解码器的第一阶段的输入;

步骤6,基于步骤5的结果,在解码器模块中使用边界检测算子生成的边界先验知识作为引导,从而生成详细的各层级边界特征,其中解码器的每一阶段均是将多尺度特征信息与上采样后的上一阶段解码器模块的输出特征逐元素求和后,作为下一阶段解码过程的输入特征;

步骤7,对步骤6中得到的最后一层的边界特征,使用Sigmoid激活函数和1×1卷积构成的分割头来获得最终的预测结果;

所述的步骤3中,多尺度特征聚合模块包括空间和通道重建卷积、多分支深度条状卷积和用来建模通道间关系的1×1卷积;其中多分支深度条状卷积的每个分支中,是使用两个深度条状卷积来模拟具有大内核的标准深度卷积。

2.根据权利要求1所述的方法,其特征在于,所述的特征交互分割模型的训练过程包括:步骤一,获取作为训练集的已标注医学图像,并进行数据增强操作以扩充训练集中的图像数量;

步骤二,基于扩充后的训练集,执行步骤1‑步骤7;

步骤三,对步骤6中除最后一层外的各层级边界特征使用分割头来获得各层级分割结果,并将其与步骤7中生成的最终的预测结果,使用加权损失函数进行深度监督来计算其与图像标签之间的损失值;

步骤四,循环执行步骤二‑步骤三,直至模型收敛,从而得到训练后的特征交互分割模型。

3.根据权利要求1所述的方法,其特征在于,所述的步骤1中,并行双分支编码器的Transformer分支为四阶段金字塔结构,且在第一阶段使用重叠的补丁嵌入,在第二到第四阶段使用补丁合并模块,每个阶段中分别堆叠2,2,8,2个计算友好Transformer块来进行特征转换与提取;所述的计算友好Transformer块包括相对位置编码单元、双层路由注意力与反向残差前馈网络;

并行双分支编码器的CNN分支包括由一个卷积流和四个残差块组成的Res2Net作为骨干网络。

4.根据权利要求3所述的方法,其特征在于,所述的计算友好Transformer块的处理过程为:Yi=Location(Xi‑1)

Zi=Attention(LN(Yi))+Yi

Xi=FFN(LN(Zi))+Zi

其中Yi、Zi和Xi分别表示第i个计算友好Transformer块的相对位置编码单元、双层路由注意力模块和整体计算友好Transformer块的输出特征,Attention代表双层路由注意力的计算输出,LN代表层归一化。

5.根据权利要求1所述的方法,其特征在于,所述的步骤2包括:

对来自Transformer和CNN编码器的特征图使用由1×1卷积、批归一化和线性整流函数组成的卷积层来统一通道数,并通过逐元素求和操作来组合全局和局部特征;然后引入通道注意力来计算特征通道的权重向量;再对组合特征采用平均池化和最大池化操作,并使用共享多层感知机来进行求和后输入到Sigmoid激活函数中获取通道注意力系数;最后使用融合权重对来自Transformer和CNN编码器的特征图进行逐元素乘法后求和得到最终的融合特征。

6.根据权利要求1所述的方法,其特征在于,所述的步骤4中,多层级特征桥接模块的输入包括低级特征和高级特征两部分,处理过程包括:使用深度可分离卷积与双线性插值对高级特征的大小进行调整,然后沿通道维度将两个特征分为四组,并将一组低级特征和一组高级特征进行通道串联,从而得到四组混合特征;接着在四个并行分支中使用内核大小为3和扩张率为{1,2,5,7}的扩张卷积,并通过软注意力以提取不同感受野的信息;最后将四组特征沿通道维度连接起来,然后应用内核大小为1的普通卷积来实现不同尺度的特征之间的交互,得到最终的输出。

7.根据权利要求1所述的方法,其特征在于,所述的步骤6中,是对各层级解码输入特征,使用边界检测算子所提取的边界特征作为先验信息来指导解码学习过程:i

首先,使用注意力特征融合模块生成的包含大量边界纹理信息的第i层特征F作为输入来提取对象的边界信息,其中i=1,2,同时过滤掉不相关的信息,在水平和垂直方向分别使用Sobel算子来获得梯度图;然后,通过Sigmoid激活函数进行归一化并与输入特征图融合,得到边缘特征图 其中i=1,2;

2 1

再对Fe进行双线性上采样以匹配Fe 的特征图大小,并分别使用1×1卷积运算来对通道

2 1

数进行匹配;再沿着通道维度串联Fe和Fe,并使用两层卷积以得到综合边界特征Fb,然后将综合边界特征Fb作为先验知识来指导解码学习过程,由上阶段解码器上采样特征与多层级特征桥接模块的输出 逐元素求和后得到 将 与Fb进行通道维度串联后,输入由1×

1卷积、批归一化和线性整流函数组成的卷积层中以获得最终的输出。

8.根据权利要求2所述的方法,其特征在于,所述的特征交互分割模型的训练过程中,步骤二中在执行步骤4时,还同时通过与多层级特征来桥接已标注医学图像中真实分割标签的掩码信息,来辅助特征交互,包括:使用深度可分离卷积与双线性插值对高级特征的大小进行调整,然后沿通道维度将两个特征分为四组,并将一组低级特征、一组高级特征和掩码信息进行通道串联,从而得到四组混合特征;接着在四个并行分支中使用内核大小为3和扩张率为{1,2,5,7}的扩张卷积,并通过软注意力以提取不同感受野的信息;最后将四组特征沿通道维度连接起来,然后应用内核大小为1的普通卷积来实现不同尺度的特征之间的交互,得到最终的输出。

9.根据权利要求2所述的方法,其特征在于,所述的步骤三中,是应用深度监督策略从不同级别的解码器特征中获得预测,并使用骰子相似系数损失和二元交叉熵损失的加权函数来计算真实标签和预测结果之间的损失值,从而得到总体损失函数 为:其中, 代表二元交叉熵损失, 代表骰子相似系数损失,α为权重平衡参数。