利索能及
我要发布
收藏
专利号: 2024108993266
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于改进的尺度融合脑肿瘤分割方法,其特征在于,包括以下步骤:

步骤1、将包含肿瘤病变的4张多模态MR脑图像输入到网络中进行脑肿瘤分割,勾画出脑肿瘤的三个嵌套病变子区域ET(肿瘤周围水肿区域)、WT(整个肿瘤区域)和TC(肿瘤核心区域);

步骤2、构建全局局部特征混合器GLFM(空间混编Transformer、输入依赖动态卷积、特征融合增强器),通过并行捕获局部细节特征和全局上下文信息,实现全局‑局部尺度的信息混合;

步骤3、构建多尺度扩张初始模块MSDI(扩张卷积+多尺度通道注意力),通过不同扩张率的扩张卷积、Inception的特有结构以及多尺度通道注意力模块MS‑CAM(全局平均池化+点卷积+激活函数),实现多尺度形变特征的有效捕获;

步骤4、构建多尺度特征聚合模块MFSA(下采样、通道注意力、卷积块+空间注意力、规则线性注意力),将多级多分辨率特征集成到远程依赖建模中,实现多尺度全局感知能力。

2.根据权利要求1所述的一种基于改进的尺度融合脑肿瘤分割方法,其特征在于,所述步骤1将包含肿瘤病变的4张多模态MR脑图像输入到网络中进行脑肿瘤分割,勾画出脑肿瘤的三个嵌套病变子区域ET、WT和TC,具体为:将训练图像输入到脑肿瘤图像分割网络,脑肿瘤图像分割网络以3D U‑Net结构作为基础网络结构,对输入图像编码提取特征,得到各层特征F1,F2,F3,F4,前三层特征通过多尺度扩张初始模块MSDI,第四层特征通过多尺度特征聚合模块MFSA,之后与对应解码器进行特征拼接用于恢复下采样丢失的细节信息,解码器通过渐进式上采样和卷积操作逐步恢复特征映射图到原始输入图像的大小,从而实现端到端的脑肿瘤图像分割。

3.根据权利要求1所述的一种基于改进的尺度融合脑肿瘤分割方法,其特征在于,所述步骤2构建全局局部特征混合器GLFM,有效地捕获全局局部分层表示,以整合本地和全局上下文信息,通过并行捕获局部细节特征和全局上下文信息,实现局部‑全局尺度的信息混合,具体为:A、输入特征x首先沿通道维度将其均匀划分为两个子特征映射,得到相应的特征映射{x1,x2},其计算过程可公式化为:x1,x2=split(x) (1)

split表示沿通道维度将输入特征均匀划分;

B、并行地对特征映射x1,x2进行全局‑局部特征建模,得到全局特征fg和局部特征fl,其计算过程公式化如下:f0(x1)=x1+Norm(WMSA/shuffle WMSA(x1)) (2)fg(x1)=f0(x1)+Norm(MLP(f0(x1))) (3)A′=Conv(Conv(AdaptivePool(x2))) (4)A=Softmax(Reshape(A′)) (5)

f1(x2)=Softmax(BN(W*x2)) (7)

其中,x1和x2分别是步骤A中生成的特征图{x1,x2},式(2)中WMSA和shuffle WMSA分别表示基于窗口的多头注意力和洗牌窗口多头自注意力,Norm代表归一化操作,MLP表示多层感知机,f0(x1)表示经过注意力和归一化操作后生成的特征,fg是最终生成的全局特征;式(4)中Adaptiveplool表示自适应平均池化,Softmax是激活函数,a′表示中间生成的注意力图;式(5)中A是注意力权重,式(6)中G表示输出维度,P表示一组可学习的参数,W表示依赖于输入的卷积核;式(7)中BN表示归一化操作,fl是最终的局部特征;

C、将全局特征和局部特征进行融合,得到融合后的混合特征Y,再经过特征融合增强器(TFE),得到最终的混合特征,其计算过程公式如下:y=TFE(Concat(fσ(x1),f1(x2))) (8)

其中,fg和fl是步骤C生成的全局特征和局部特征,特征融合增强器(TFE)包括3x3x3的深度卷积和1x1x1的点卷积,扩展的1x1x1卷积,以及剩余连接,用于增强局部‑全局信息融合。

4.根据权利要求3所述的一种基于改进的尺度融合脑肿瘤分割方法,其特征在于,所述步骤3构建多尺度扩张初始模块MSDI,通过不同扩张率的扩张卷积、Inception的特有结构以及多尺度通道注意力模块MS‑CAM,实现多尺度形变特征的有效捕获,具体为:A、以编码器前三层特征y作为多尺度特征输入,分别经过四层卷积操作,前两层分别是不同扩张率的扩张卷积,后两层分别是1x1x1卷积和带有pool操作的1x1x1卷积,将前两层卷积得到的特征图进行拼接,得到y1,将后两层卷积得到的特征图进行拼接,得到y2,具体为:y1=DC(DC(Conv(y)))+Cnov(DC(y))(8)

y2=Pool(Conv(y))+Conv(y)(9)

其中,式(8)中DC表示扩张卷积,前两个DC扩张率为1,后一个DC扩张率为2,Conv表示

1x1x1卷积;式(9)中Pool表示池化操作;

B、将y1、y2送入到MS‑CAM模块,得到最终的特征图y,具体为:

y=MS‑CAM(y1,y2)(10)

其中,y1、y2是步骤A中得到的特征图,MS‑CAM是多尺度通道注意力。

5.根据权利要求4所述的一种基于改进的尺度融合脑肿瘤分割方法,其特征在于,所述步骤4构建多尺度特征聚合模块MFSA,将多级多分辨率特征集成到远程依赖建模中,实现多尺度全局感知能力,具体为:

1 2 3 4

A、以编码器每层的输出特征(x ,x ,x ,x)作为输入,通过不同步长的跨步卷积操作将它们下采样到同一分辨率大小,然后沿通道方向进行特征堆叠即Concatenation操作,再对拼接好的特征进行通道自适应,即使用通道注意力SE为每个通道分配不同的权重,从而得到融合后的层间多尺度特征,其计算过程可公式化如下:其中,DownSampling代表下采样操作,此网络中采用跨步卷积实现,这有利于学习更好的采样点,Concat代表沿通道方向进行堆叠,SE则表示通道注意力操作,Xfuse即为融合后的多尺度特征;

B、对步骤A获得的融合特征Xfuse进行局部建模,首先经过两个连续的卷积块CB(卷积+归一化+非线性激活),得到局部特征映射,然后通过空间注意SA生成局部性约束权重,其计算公式如下:ωlocal=SA(CB(Xfuse)) (12)

其中,ωlocal是生成的局部性约束权重;

C、对步骤A获得的融合特征Xfuse进行全局建模。具体包括:Xfuse被馈入到规则线性注意力中进行全局上下文信息的捕获,得到包含全局依赖关系的特征,然后将步骤B生成的局部性权重与其进行矩阵乘法操作,赋予其局部性约束,以避免深层特征对全局性的过度关注,其计算公式如下:

Z=ωlocal·CB(Xfuse) (13)

其中,CB表示提出的规则线性注意力,包括CBAM和1x1卷积,ωlocal是局部性约束权重,Z即为最终的聚合多尺度上下文信息后的输出特征。

6.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至5任一项所述的基于改进的尺度融合脑肿瘤分割方法。

7.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于改进的尺度融合脑肿瘤分割方法。