利索能及
我要发布
收藏
专利号: 2024100103764
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多尺度特征融合和两阶段联合学习的医学小目标分割方法,其特征在于:所述方法包括如下步骤:

步骤一:收集并预处理待分割的医学图像,根据预设比例将有目标掩膜标注的医学图像划分为训练集D1和验证集D2,并将D1中的各图像分别按{0.75,1.0,1.25}的多尺度策略进行调整;

步骤二:使用训练集D1中的各图像X训练粗分割网络,骨干网络为Res2Net;

步骤三:用转换模块来关联粗分割阶段和细分割阶段,并通过裁剪收缩输入的原图X;

步骤四:使用裁剪后的图像XF训练细分割网络,骨干网络为Res2Net;

步骤五:使用联合优化的形式,将粗分割网络和细分割网络同时进行参数调整直至最大迭代步数,保存验证集D2上性能最佳的粗分割网络参数、细分割网络参数和空间转换参数;

步骤六:将没有目标掩膜标注的医学图像X输入训练好的粗分割网络得到粗分割的输出概率图Pc;

步骤七:通过转换与裁剪模块,将Pc转换为对原图X的每个像素点的空间权重Xc,并以Pc为参考图像r执行裁剪操作,得到裁剪后的图像XF;

步骤八:将XF送入训练好的细分割网络,得到小目标的分割结果;

所述步骤三的过程如下:

3.1转换模块将粗分割预测概率Pc转换为对原图X的每个像素点的空间权重:Xc=X⊙g(Pc;η)                                 (2)其中⊙为逐元素的乘法,g(Pc;η)为保持输入输出同尺寸的卷积操作,输出每个点的空间权重是由其周围小邻域内的粗分割预测概率Pc决定的,其参数为η;

3.2训练初期用金标准做为参考图像r,后期用粗分割概率图Pc作为参考图像r;

3.3将参考图像r二值化为图像Z,找到图像Z中的所有前景像素,并计算包含这些像素的最小2D边界框;

3.4将边界框的尺寸在上下左右四个方向上都增加K个像素,得到放大的矩形框,并用其裁剪图像Xc,如果放大的矩形框超出图像Xc的边界,就用0填充缺失的值,得到裁剪后的图像记为XF。

2.如权利要求1所述的基于多尺度特征融合和两阶段联合学习的医学小目标分割方法,其特征在于,所述步骤二的过程如下:C

2.1多尺度特征提取,使用参数为W 的Res2Net提取输入图像X的各级特征{fi|i=1,

2,...,L},输入图像X的大小为H×W,各特征图的分辨率为

2.2应用部分解码器来聚合高级特征{fi|i=3,...,L}:其中fi'为聚合后的高级特征,当i=L时,f′L=fL,这里L=5,Up(·)为上采样,倍率为j‑i

2 ,i∈[3,L‑1],j∈[i+1,L],Conv(·)为3×3卷积,∏表示拼接操作,⊙表示逐元素的乘法;

2.3对于聚合后的不同尺度的高级特征{fi'|i=3,...,L},依次采用上采样‑拼接操作,之后通过两个卷积层得到全局特征图Fc,大小调整为H×W;两个卷积层分别为3×3卷积和1×1卷积;

2.4将Sig(Fc)作为粗分割的输出概率图Pc,其中Sig(﹒)为激活函数sigmoid。

3.如权利要求1所述的基于多尺度特征融合和两阶段联合学习的医学小目标分割方法,其特征在于,所述步骤四的过程如下:F

4.1多尺度的特征提取,使用参数为W 的Res2Net,提取图像XF的各级特征{fi|i=1,

2,...,L};

4.2通过背景去噪模块,利用感受野更大的深层特征来辅助浅层去除背景噪声,得到背景相对清晰的特征图:fi'=σ(Up(f′i+1))⊙fi,i∈{L‑1,L‑2}                   (3)其中Up(·)表示上采样操作,σ(·)是激活函数ReLU,⊙是逐元素乘法,第L层特征fL'=fL,这里L=5,其它层的特征图f4'得到了f5'的指导信息,f3'得到了f4'的指导信息;

4.3将三个不同尺度的特征图{f3',f4',f5'}通过拼接模块进行融合,并使用双线性插值法进行上采样将融合结果恢复到原始输入图片的大小H×W;

4.4经Sig(﹒)后作为细分割的输出概率图,其中Sig(﹒)为激活函数sigmoid。

4.如权利要求3所述的基于多尺度特征融合和两阶段联合学习的医学小目标分割方法,其特征在于,所述步骤五中,联合优化的损失函数如下:Losstotal=αLoss(Pc,Y)+(1‑α)Loss(PF,Y)                        (4)其中α为粗分割损失的权重系数,Pc和PF分别为粗分割和精细分割的预测概率,Y为金标准,Loss(·)在二分类交叉熵BCE损失和IoU损失的基础上加入了焦点损失F‑Loss:Loss(P,Y)=λ1(BCE(P,Y)+IoU(P,Y))+λ2F_Loss(P,Y)            (5)其中P为输入图像的预测概率,pi∈P和yi∈Y分别为图像像素点i的预测概率和标签,N为图像所包含的像素数目,λ1、λ2是损失项的权重系数,都设置为1。

5.一种实现如权利要求1所述的基于多尺度特征融合和两阶段联合学习的医学小目标分割方法的系统,其特征在于,所述系统包括:预处理模块,用于收集并预处理待分割的医学图像,根据预设比例将有目标掩膜标注的医学图像划分为训练集D1和验证集D2,并将D1中的各图像分别按{0.75,1.0,1.25}的多尺度策略进行调整;

粗分割训练模块,用于使用训练集D1中的各图像X训练粗分割网络,骨干网络为Res2Net;

转换训练与裁剪模块,用转换模块来关联粗分割阶段和细分割阶段,并通过裁剪收缩输入的原图X;

细分割训练模块,用于使用裁剪后的图像XF训练细分割网络,骨干网络为Res2Net;

联合优化模块,用于使用联合优化的形式,将粗分割网络和细分割网络同时进行参数调整直至最大迭代步数,保存验证集D2上性能最佳的粗分割网络参数、细分割网络参数和空间转换参数;

粗分割模块,用于将没有目标掩膜标注的医学图像X输入训练好的粗分割网络得到粗分割的输出概率图Pc;

转换与裁剪模块,用于将Pc转换为对原图X的每个像素点的空间权重Xc,并以Pc为参考图像r执行裁剪操作,得到裁剪后的图像XF;

细分割模块,用于将XF送入训练好的细分割网络,得到小目标的分割结果。