1.一种基于渐进式生成网络的医学图像增广方法,其特征在于,包括如下步骤:
1)训练样本的处理:
为使所提模型在训练过程中更好地利用size区间内的病灶的图像信息,以输出带有较小病灶的合成图,对无病灶整图X和带病灶整图Y进行数据处理;
2)网络层数的渐进式增加过程:
在渐进式生成训练之前,En和G在xrs‑n和yrs‑n上进行“编码‑>解码”的预训练,编码器的训练损失项见公式(1):Lencoder=||xrs‑n‑G(En(xrs‑n))||1+||yrs‑n‑G(En(yrs‑n))||1 (1)渐进式生成的训练过程的网络层层数是逐渐增加的,当Enfuse,G‑1,Dt‑1和Dc‑1的训练完成时,所得syn‑yrs‑1的质量令人满意;
3)所提的优化目标:
为保证生成的syn‑yrs‑n在被reshape成syn‑yn后,其临床表征准确且边缘纹理能与背景图的纹理连续的效果,各级分辨率ROI图像的生成训练都以该效果为目标,即各级训练的优化目标相同,所提模型都被三个损失项所约束,三个损失项为重构损失、条件辨别损失和纹理辨别损失;
4)总体优化目标:
对于每一个分辨率级别上的训练,新增入G中的网络模块都是经过预训练的,而新增入Dc和Dt的网络模块的参数都是随机初始化的,先对Dc和Dt进行训练,使其辨别性能略胜于合成器的生成性能,其优化目标见公式(9):LDc‑i=min(Dc‑i)LcDis‑i;LDt‑i=min(Dmed‑i)Lmed‑i,min(Dft)Lft (9)接着合成器根据反向传播的损失函数进行优化,合成器的优化目标见公式(10):LGen‑i‑1st=min(G‑i)Lrec‑1
LGen‑i‑2nd=max(G‑i,Enfuse)(LcDis‑i+λLmed‑i+βLft) (10)。
2.如权利要求1所述的一种基于渐进式生成网络的医学图像增广方法,其特征在于,所述步骤3)中,重构损失用于提高syn‑yrs‑i的临床表征准确性,通过最小化重构图和真实低分辨率图像之间的差异,具有初始参数的G‑1被更新;利用数据集中宝贵的yrs,为编码训练提供了一定数量的ground‑truth,从而,G‑1将“特征图的病灶信息”解码成“低分辨率医学图像中的病灶区域”的训练过程被监督,与此同时,xrs也为编码训练补充了ground‑truth,用于防止训练过程中,由于yrs数量较少所引起的过拟合问题;重构训练的过程与预训练过程类似,见公式(2):Lrec‑1=||xrs‑1‑G‑1(En(xrs‑n))||1+||yrs‑1‑G‑1(En(yrs‑n))||1 (2)。
3.如权利要求1所述的一种基于渐进式生成网络的医学图像增广方法,其特征在于,所述步骤3)中,条件辨别损失中,syn‑yrs‑1的生成过程受Enfuse和G‑1的共同影响,见公式(3):syn‑yrs‑1=G‑1[Enfuse[En*(xrs‑1)△En*(yrs‑1)]] (3)针对无ground‑truth的syn‑yrs‑1,带类别信息的对抗生成[cGAN]被借鉴;在Dc‑1和合成器的对抗训练中,Dc‑1被寄希望可同时对输入图像的逼真性和类别标签准确性进行辨别,合成器则被期望所生成图像可被辨别为正样本;在Dc‑1优化环节,合成器的参数被固定,此时Dc‑1和合成器的对抗损失见公式(4):LcDis‑1=|log[Dc‑1(xrs‑1,lnodis)]+log[Dc‑1(yrs‑i,ldis)]+log[1‑Dc‑1(syn‑yrs‑1,ldis)]+log[1‑Dc‑1(xrs‑1,ldis)+log[1‑Dc‑1(yrs‑1,lnodis)]| (4)在合成器优化环节,Dc‑1的参数被固定,此时期望(syn‑yrs‑1,ldis)被Dc‑1视为正样本,即Dc‑1(syn‑yrs‑1,ldis)尽可能为1,因此公式(4)对应损失应尽可能被最大化,辨别器和合成器交替训练,使合成器的性能逐步提升。
4.如权利要求1所述的一种基于渐进式生成网络的医学图像增广方法,其特征在于,所述步骤3)中,将纹理辨别损失反馈于合成器的训练,提高带病灶ROI合成图与背景连接区域的纹理连续性;
首先,合成器输出的syn‑yrs‑1的边缘区域与对应X的背景图边缘区域进行拼接;接着,医学图纹理连续性辨别器Dmed‑1在Ring‑Xrs‑1,Ring‑Yrs‑1和Ring‑syn‑Yrs‑1上进行对抗训练,训练中,有medical image纹理对抗损失见公式(5);
Lmed‑1=|log[Dmed‑1(Ring‑Xrs‑1)]+log[Dmed‑1(Ring‑Yrs‑1)]+log[1‑Dmed‑1(Ring‑syn‑Yrs‑1)]| (5)与此同时,所提的特征图纹理连续性辨别器Dft对连接处的纹理连续性进行了更深层次的辨别,在输入Dmed‑1前,背景环形图的size已与Ring‑Xrs‑1一致,而前景环形图像需要先被零padding至Ring‑Xrs‑1的size,以保证所得特征图的size都一致,见公式(6):fRX,fRY,fRsY=D*med(Ring‑Xrs‑1),D*med(Ring‑Yrs‑1),D*med(Ring‑syn‑Yrs‑1)fRXbg,fRYbg=D*med(Ring‑Xbgrs‑1),D*med(Ring‑Ybgrs‑1)ZP ZP ZP
fRx,fRy,fRsy=D*med(Ring‑xrs‑1 ),D*med(Ring‑yrs‑1 ),D*med(Ring‑syn‑yrs‑1 ) (6)将前&背景环形图的特征图与对应的前景特征图/背景特征图进行相减,可保留只与边缘连续性特征相关的残差特征图,见公式(7):fRes‑X=fRX‑fRXbg‑fRx;fRes‑Y=fRY‑fRYbg‑fRy;fRes‑sY=fRsY‑fRXbg‑fRsy (7)此时,Dft在残差特征图上进行对抗训练,其训练过程见公式(8):Lft=|log[Dft(fRse‑X,fRse‑Y)]+log[1‑Dft(fRse‑X,fRse‑sY)]| (8)。