利索能及
我要发布
收藏
专利号: 2024103973872
申请人: 黑龙江大学
专利类型:发明专利
专利状态:授权未缴费
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于双分支解码器的医学图像分割方法,其特征在于,所述一种基于双分支解码器的医学图像分割方法的步骤包括:步骤1:基于CNN‑Transformer混合编码器提取医疗图像的图像特征;

步骤2:构建像素解码器,基于像素解码器对医疗图像的特征图进行恢复分辨率;

步骤3:构建含有LMaX Transformer的增强解码器,基于增强解码器进行聚类捕获解码后的医疗图像特征的细节信息,获取医疗图像的分割预测结果;

步骤4:设计对比聚类分配损失,获取特征增强视图并增强特征增强视图和聚类结果之间的相似度;

步骤5:设计多尺度分割损失,基于对比聚类分配损失和多尺度分割损失获取总分割损失,通过总分割损失反向传播优化混合编码器和增强解码器的参数,完成医疗图像的自动分割。

2.根据权利要求1所述的一种基于双分支解码器的医学图像分割方法,其特征在于,步骤1中提取医疗图像的图像特征的步骤包括:H×W×C

步骤1.1:将所述医疗图像x∈R 输入至CNN编码器中进行尺度划分,分别得到四个尺度的特征图,每个尺度的特征图输出的隐藏特征序列为 其中,C为通道数,H为图像高度,W为图像宽度;

步骤1.2:对CNN编码器中每个尺度的特征图输出的隐藏特征序列 进行重塑,得到 个图像块 其中每个图像块的大小均为P×P;

步骤1.3:使用线性投影将所述重塑后的图像块映射成D维的embedding,并记录每个图像块的位置信息,获取医疗图像的局部特征;

步骤1.4:将所述D维的embedding输入至由多头自我注意和多层感知器组成的Transformer编码器中获取医疗图像的全局特征,CNN‑Transformer混合编码器输出的隐藏特征序列为

3.根据权利要求1所述的一种基于双分支解码器的医学图像分割方法,其特征在于,步骤2中对医疗图像的特征图进行恢复分辨率的步骤包括:步骤2.1:对混合编码器输出隐藏特征序列 的尺度进行重塑,得到尺度为的隐藏特征序列;

步骤2.2:通过级联多个上采样块,将尺度重塑后的隐藏特征序列的分辨率从 逐步恢复到 H×W。

4.根据权利要求1所述的一种基于双分支解码器的医学图像分割方法,其特征在于,步骤3中获取医疗图像的分割预测结果的步骤包括:步骤3.1:通过过跳跃连接融合像素解码器和CNN‑Transformer混合编码器四个尺度的像素特征;

步骤3.2:将融合后的每个尺度的像素特征依次输入kMaX Transformer模块进行聚类;

N×C

步骤3.3:利用截断正态分布对聚类中心进行初始化,得到输出聚类中心B0,B0∈R ;

步骤3.4:对所述聚类中心进行更新;

步骤3.5:基于更新后的聚类中心对每个聚类内的像素进行聚合,获取聚类结果;

步骤3.6:基于所述聚类结果获取医疗图像的分割预测结果,并输出特征图f。

5.根据权利要求4所述的一种基于双分支解码器的医学图像分割方法,其特征在于,步骤3.4中对聚类中心进行更新的步骤包括:步骤3.4.1:将第一个上采样块得到的尺度为 的像素特征和聚类中心B0作为第一阶段kMaX解码器的输入,得到第一阶段更新的聚类中心B1;

步骤3.4.2:依次将所有上采样块输出的像素特征和每个阶段获取的聚类中心作为下一阶段kMaX解码器的输入,完成聚类中心的更新。

6.根据权利要求5所述的一种基于双分支解码器的医学图像分割方法,其特征在于,步骤3.4.2中获取每个阶段获取的聚类中心的步骤包括:步骤3.4.2.1:将像素特征和聚类中心分别进行卷积和归一化,并利用k‑means交叉注意力融合像素和聚类中心信息;

步骤3.4.2.2:利用多头注意力模块对融合后的像素和聚类中心信息进行聚合和优化,并,得到聚类中心;

步骤3.4.2.3:基于前馈网路对多头注意力模块输出的聚类中心进行更新,得到每个阶段更新后的聚类中心;

k‑means交叉注意力操作的表达式为:

zm=BN(Conv(zm))(1)

Bl″=KCA(BN(Conv(Bl‑1)),zm)+Bl‑1(2)公式(1)和(2)中,Conv()为卷积层,BN(·)为批次归一化算子,KCA()为k‑means cross‑attention,Bl‑1为上一层的聚类中心,Bl”为第l个KCA模块的输出;

多头注意力机制操作的表达式为:

Bl'=MSA(BN(Conv(Bl”)))+Bl”(3)公式(3)中,MSA为多头自注意力模块;

聚类中心更新的表达式为:

Bl=FFN(BN(Conv(Bl')))+Bl'(4)公式(4)中,FFN为前馈神经网络模块,Bl为第1层FFN模块的输出。

7.根据权利要求4所述的一种基于双分支解码器的医学图像分割方法,其特征在于,步骤3.5中对每个聚类内的像素进行聚合的步骤包括:步骤3.5.1:堆叠多层kMaXTransformer模块组成增强解码器;

步骤3.5.2:基于kMaXTransformer模块的交叉注意力机制和更新后的聚类中心对每个聚类内的像素进行聚合,得到聚类簇分配结果;

交叉注意力的计算表达式为:

c p p

公式(5)中,C和P分别为查询和像素特征,Q ,K ,V分别为线性投影查询、键和值;

聚合的表达式为:

N×C HW×C

公式(6)和(7)中,B、P、A分别为聚类中心、像素特征和聚类簇分配,且B∈R ,P∈R ,HW×NA∈R 。

8.根据权利要求1所述的一种基于双支解码器的医学图像分割方法,其特征在于,步骤

4中获取特征增视图并增强特征增强视图和聚类结果之间的相似度的步骤包括:步骤4.1:对解码器最终输出的特征图f进行加噪生成两个增强视图f1和f2;

步骤4.2:基于所述增强视图f1和f2最大化特征图与聚类分类之间的相似度获取对比聚类损失;

对比聚类损失的表达式为:

公式(8)中,τ为温度参数,f1、f2均为特征增强视图,B为聚类分类结果,q1和q2均由聚类分类结果B和特征增强视图f1和f2计算得到。

9.根据权利要求1所述的一种基于双支解码器的医学图像分割方法,其特征在于,步骤

5中通过总损失反向优化混合编码器和增强解码器的参数的步骤包括:步骤5.1:对混合编码器和增强编码器中的Ground Truth进行下采样,得到H×W四个尺度的Ground Trurh;

步骤5.2:计算含有kMaX Transformer的增强解码器输出的不同尺度的特征图与相应尺度的Ground Trurh的多尺度分割损失;

步骤5.3:将所述多尺度分割损失和对比聚类损失加权求和,得到总分割损失;

步骤5.4:通过总分割损失反向优化混合编码器和增强解码器的参数,完成医疗图像的自动分割;

多尺度分割的表达式为:

公式(9)中,Lce和Ldice分别为二元交叉熵损失和dice损失。λ为用于平衡每像素分割损失的超参数,λ1,λ2,λ3,λ4为常数,λ1,λ2,λ3,λ4分别为0.05,0.05,0.1,0.8;

总分割损失的表达式为:

Ltotal=αLseg+βLccl(10)公式(10)中,参数α和β均为常数,α和β分别为0.5,0.1。

10.一种基于混合编码器和双分支解码器的医疗图像分割系统,应用于权利要求1‑9任意一项所述的一种基于混合编码器和双分支解码器的医疗图像分割方法,其特征在于,包括:医疗图像特征获取模块,用于提取所述医疗图像的图像特征;

医疗图像分辨率恢复模块,用于对疗图像的特征图进行恢复分辨率;

医疗图像分割预测模块,用于获取医疗图像的分割预测结果;

总分割损失获取模块,用于获取交换对比聚类分配损失和多尺度分割损失损失,并基于交换对比聚类分配损失和多尺度分割损失损失获取总分割损失;

医疗图像自动分割模块,用于通过总分割损失反向优化混合编码器和增强解码器的参数,完成医疗图像的自动分割。