利索能及
我要发布
收藏
专利号: 2022111684786
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于对抗训练的半监督双分支骨髓细胞图像分割方法,其特征在于,包括如下步骤:

步骤1.收集骨髓细胞图像,将骨髓细胞图像划分为训练集、验证集和测试集;在训练过程中,将训练集数据分为有标签图像和无标签图像两部分;

步骤2.搭建基于对抗训练的半监督双分支骨髓细胞图像分割模型;

其中,搭建的半监督双分支骨髓细胞图像分割模型包括分割网络以及判别器网络;

分割网络包括双分支结构、特征聚合模块以及第一上采样模块;

双分支结构包括一个深层分支和一个浅层分支;

深层分支包括第一卷积模块、FMBConv模块、MBConv模块和自适应平均池化模块;第一卷积模块、FMBConv模块、MBConv模块以及自适应平均池化模块依次连接;

浅层分支由第二卷积模块、第三卷积模块、第四卷积模块以及第五卷积模块组成;其中,第二卷积模块、第三卷积模块以及第四卷积模块依次连接;

FMBConv模块的输出与第四卷积模块的输出相加后与第五卷积模块的输入端相连;

自适应平均池化模块与第五卷积模块的输出端分别连接至特征聚合模块;

特征聚合模块、第一上采样模块以及判别器网络依次相连;判别网络采用全卷积神经网络,其输入为分割网络预测结果或经过one‑hot编码的真实标签,输出为置信度图;

步骤3.基于对抗训练的半监督双分支骨髓细胞图像分割模型训练;

首先使用有标签图像进行监督训练,基于对抗训练的半监督双分支骨髓细胞图像分割模型由交叉熵损失和对抗损失来训练,分割网络和判别网络参数联合更新;

然后使用无标签图像进行半监督训练,利用判别网络发现无标签分割预测结果的可靠区域,并将其作为伪标签来监督分割网络,完成半监督学习过程;

步骤4.利用训练好的模型对待分割的骨髓细胞图像进行图像分割,得到图像分割结果。

2.根据权利要求1所述的半监督双分支骨髓细胞图像分割方法,其特征在于,所述步骤3中,输入图像在分割网络中的处理过程为:在深层分支,输入图像依次通过第一卷积模块、FMBConv模块、MBConv模块以及自适应平均池化模块,完成深层分支的全局上下文特征提取;

在浅层分支,输入图像依次经过第二卷积模块、第三卷积模块和第四卷积模块进行三次下采样,第四卷积模块的输出与FMBConv模块的输出相加,实现低级特征互补;

相加后的特征输入至第五卷积模块完成浅层分支的特征提取,通过特征聚合模块来融合深层分支和相加后的浅层分支的互补信息,捕获多尺度的特征信息;

最后,通过第一上采样模块的上采样操作将特征图映射到原始图像尺寸。

3.根据权利要求1所述的半监督双分支骨髓细胞图像分割方法,其特征在于,所述FMBConv模块包括第六卷积模块、第七卷积模块、第八卷积模块以及第一SE模块;

其中,第六卷积模块、第一SE模块以及第七卷积模块依次连接;

第六卷积模块和第八卷积模块的输入端与FMBConv模块的输入端相连;第七卷积模块的输出与第八卷积模块的输出相加后作为FMBConv模块的输出;

第六卷积模块和第八卷积模块采用3×3的卷积核,第七卷积模块采用1×1的卷积核。

4.根据权利要求1所述的半监督双分支骨髓细胞图像分割方法,其特征在于,所述MBConv模块包括第九卷积模块、第十卷积模块、第一深度卷积模块以及第二SE模块;第九卷积模块、第一深度卷积模块、第二SE模块以及第十卷积模块依次连接;

第九卷积模块的输入端与MBConv模块的输入端相连;

第九卷积模块的输入与第十卷积模块的输出相加后作为MBConv模块的输出;

第九卷积模块和第十卷积模块采用1×1的卷积核,第一深度卷积模块采用3×3的卷积核。

5.根据权利要求1所述的半监督双分支骨髓细胞图像分割方法,其特征在于,所述特征聚合模块包括第一层结构、第二层结构、乘法模块以及SUM模块;

第一层结构包括第二深度卷积模块、第十一卷积模块、第三深度卷积模块以及第十二卷积模块;该第一层结构上的各个卷积模块均采用3×3的卷积核;

深层分支的输出端分别连接至第二深度卷积模块和第十一卷积模块的输入端,浅层分支的输出端分别连接至第三深度卷积模块和第十二卷积模块的输入端;

第二层结构包括第十三卷积模块、平均池化模块、第二上采样模块以及第十四卷积模块;其中,第十三卷积模块以及第十四卷积模块均采用1×1的卷积核;

第二深度卷积模块的输出端与第十三卷积模块的输入端相连,第十一卷积模块的输出端与平均池化模块的输入端相连,第十二卷积模块的输出端与第二上采样模块相连;

第三深度卷积模块的输出端与第十四卷积模块的输入端相连;

第二上采样模块为4倍上采样;

乘法模块有两个,分别为第一乘法模块和第二乘法模块;

第十三卷积模块的输出端与第二上采样模块的输出端连接至第一乘法模块的输入端,第十四卷积模块的输出端与平均池化模块的输出端连接至第二乘法模块的输入端;

第一乘法模块和第二乘法模块的输出连接至SUM模块上。

6.根据权利要求1所述的半监督双分支骨髓细胞图像分割方法,其特征在于,所述全卷积神经网络由5层卷积层组成;

各层卷积核的大小为4×4,步长为2,其中,前四层卷积层后都有Leaky ReLU激活函数,在卷积层后不进行池化和批归一化操作,最后通过上采样操作恢复图像尺寸。

7.根据权利要求1所述的半监督双分支骨髓细胞图像分割方法,其特征在于,所述步骤3中,判别网络的损失函数LD如公式(1)所示:(h,w) (h,w)

LD=‑(∑h,w(1‑yn)log(1‑D(G(Xn)) )+ynlog(D(Yn) ))  (1)其中,yn表示判别网络的输入,yn=0则表示判别网络的输入来自分割网络预测结果,yn=1则表示判别网络的输入来自真实标签;

Xn表示输入的骨髓细胞图像,维度为H×W×3的彩色图像,G(Xn)为分割网络的分割预测结果,维度为H×W×C,其中,C表示分割类别数;

D(G(Xn))表示将分割网络的预测结果送到判别网络的输出,得到H×W×1的置信度图,置信度图表示分割预测结果中更近真实标签的区域;

Yn表示经过one‑hot编码的真实标签;

(h,w)

D(Yn) 是one‑hot编码后的真实标签向量在Yn在位置(h,w)的置信度图。

8.根据权利要求7所述的半监督双分支骨髓细胞图像分割方法,其特征在于,所述步骤3中,对于有标签图像进行监督训练,分割网络的损失函数由Lce和Ladv加权组成,通过最小化多任务损失函数LG来训练分割网络;

LG=Lce+λadvLadv    (2)

其中,Lce为交叉熵损失函数,Ladv为对抗损失,λadv为对抗超参数,λadv的值越大表示对抗损失所占的比例越大,Lce交叉熵损失函数如公式(3)所示:(h,w,c) (h,w,c)

Lce=‑∑h,w∑c∈CYn log(G(Xn) );    (3)(h,w,c)

其中,Yn 表示第n张标签图像的二值掩码图,(h,w,c)分别代表标签图像的高、宽、(h,w,c)通道数,G(Xn) 表示输入图像Xn的分割预测概率图;

对抗训练损失函数Ladv如公式(4)所示:

(h,w)

Ladv=‑∑h,wlog(D(G(Xn)) )   (4)当采用有标签图像和无标签图像进行半监督训练时,分割网络的损失函数由Lce、Ladv和Lsemi三者的加权组成,引入半监督损失函数Lsemi;

通过最小化多任务损失函数LG来完成半监督训练;

LG=Lce+λadvLadv+λsemiLsemi    (5)其中,λadv和λsemi分别用于调整对抗训练和半监督学习损失函数所占的比重;

半监督分割损失函数Lsemi由公式(6)得到:

其中, 是经过one‑hot编码的分割结果,(h,w,c)分别表示分割结果图的高、宽、通道(h,w)数;D(G(Xn)) 是像素Xn在(h,w)处的置信度图;(h,w)表示像素的位置;

* (h,w,c) *

如果c=argmaxcG(Xn) ,当c=c时, 否则Tsemi表示对置信度图进行二值化的阈值,I(·)为指示函数,通过设置阈值Tsemi来控制训练过程的敏感度,从而挑选出分割结果中哪些区域能够欺骗判别网络。

9.一种计算机设备,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,其特征在于,所述处理器执行所述可执行代码时,实现如上述权利要求1至8任一项所述的半监督双分支骨髓细胞图像分割方法。

10.一种计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时,实现如上述权利要求1至8任一项所述的半监督双分支骨髓细胞图像分割方法。