1.一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,其特征在于,包括以下步骤:
1)、MRI图像具有多种不同的模态,T1和T2分别表示其中最常用的两种MRI图像模态,首先,获取T1和T2两种模态的脑部MRI图像作为输入图像,通过卷积网络将输入图像与对应病理标签数据融合,将卷积网络融合后的图像作为模态图像转换器的输入,通过病理标签数据限制转换器生成图像的特征使输出图像与真实图像的病理信息一致;
2)、对于原始T1模态数据,将其输入到由神经网络构成的T2模态图像转换器中,将原始T1模态图像通过下采样提取图像特征和上采样重建图像转换为T2模态图像;
3)、对于原始T2模态数据,将其输入到由神经网络构成的T1模态图像转换器中,将原始T2模态图像通过下采样提取图像特征和上采样重建图像转换为T1模态图像;
4)、在输出图像和真实图像之间通过生成对抗思想,即一方面转换器的目标为生成让判别器分辨不出真假的图像,另一方面判别器的目标为准确判别图像的真假,来构建对抗损失,使得输出模态图像逐步靠近真实模态图像;
5)、利用循环一致性思想,即输出图像可以通过转换器重建回原始输入图像,且图像不发生改变,来构建循环验证损失实现对双向转换器的有效性进行验证;
6)、将输出模态图像与真实模态图像之间构建内容损失,主要包含在输出图像和真实图像之间计算像素均方误差损失、感知VGG损失和总变差损失三个部分,使转换结果包含的内容更接近真实图像;
7)、引入边缘损失来对输出图像的边缘进行约束,保持输出图像和真实图像的组织边缘一致;
8)、将输出图像的语义分割结果和真实图像的语义分割结果进行对比,得到的差异作为形状损失函数来保持输出图像的形状一致性;
步骤4)中,所述在输出图像和真实图像之间构建对抗损失,使得输出模态图像逐步靠近真实模态图像的具体方法为:将转换器输出的模态图像与对应真实图像一起输入判别器中,求得对抗损失,所述对抗损失定义为:其中,DT1和DT2为判别器,PT1和PT2为模态T1和模态T2的真实图像分布,为判别器DT1判别原始输入图像为真实T1模态图像的期望,为判别器DT1判别生成T1模态图像为T1模态图像转换器
GT1生成的T1图像的期望, 为判别器DT2判别原始输入图像为真实
T2模态图像的期望, 为判别器DT2判别生成T2模态
图像为T2模态图像转换器GT2生成的T2图像的期望。
2.根据权利要求1所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,其特征在于,所述步骤1)中,通过卷积网络将输入图像T1/T2与对应病理标签数据融合,作为转换器的输入,使输出图像T1/T2与真实图像T1/T2的病理信息一致,具体包括:在向转换器输入图像之前,将病理标签信息与输入图像T1/T2合并一同作为转换器输入,从而限制转换器的特征生成以及确保病理信息不改变,病理标签全部定义在将T1/T2模态图像输入转换器的过程中,即所有转换器均连同标签信息和输入图像一种作为输入数据,病理标签信息定义为:px=G(x|l)
其中,x为输入图像,G为转换器,px为转换后的图像,l为输入图像对应病理标签。
3.根据权利要求2所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,其特征在于,步骤2)中,所述将原始T1模态数据转换为T2模态图像的具体方法为:将原始的T1模态数据输入由神经网络构成的转换器中,首先通过下采样过程提取图像特征,然后通过上采样过程对图像进行重建;所述转换T2模态图像定义为:pxT2=GT2(xT1|l)
其中,xT1为原始T1模态输入图像,GT2为由神经网络构成的T1模态转换为T2模态的转换器。
4.根据权利要求3所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,其特征在于,在步骤3)中,所述将原始T2模态数据转换为T1模态图像的具体方法为:原始T2模态数据输入到由神经网络构成的转换器中,首先对原始图像进行下采样操作,然后对提取到的特征图像进行上采样操作转换为T1模态图像,所述转换T1模态图像定义为:pxT1=GT1(xT2|l)
其中,xT2为原始T2模态输入图像,GT1为由神经网络构成的T2模态转换为T1模态的转换器。
5.根据权利要求4所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,其特征在于,所述步骤5)引入循环验证损失来对转换器的有效性进行验证,具体包括:为转换器GT1和GT2设计循环验证损失,使得预测图像GT2(GT1(xT2))和GT1(GT2(xT1))与对应输入图像xT2和xT1是相同的,以此来验证转换器的有效性;循环验证损失定义为:
6.根据权利要求5所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,其特征在于,所述步骤6)将输出模态图像与真实模态图像之间构建内容损失,使转换结果包含的内容更接近真实图像,具体包括:将输出图像与对应真实图像之间计算内容损失,内容损失旨在减少输出图像的失真情况,主要包含在输出图像和真实图像之间计算像素均方误差(pMSE)损失、感知VGG损失和总变差TV损失三个部分,内容损失定义为:LContent=λ1LVGG/i,j+λ2LpMSE+λ3LTV
其中,λ为用来控制不同内容损失项权重的超参数集合,像素均方误差(pMSE)损失定义为:其中,W和H为真实图像或输出图像的大小,感知VGG损失定义为:
其中,φi,j来自微调的VGG网络中,定义为从第i个最大池化层之前且在激活层之后的第j个卷积层获得的特征图,Wi,j和Hi,j表示在VGG网络中特征图的维度,总变差(TV)损失定义为:
7.根据权利要求6所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,其特征在于,所述步骤7)中,引入边缘损失来对输出图像的边缘进行约束,保持输出图像和真实图像的组织边缘一致,具体包括:首先使用真实图像计算Laplacian矩阵,然后将得到的输出图像与对应的真实图像Laplacian矩阵输入到边缘损失计算函数中,计算出输出图像对应的边缘损失,边缘损失定义为:其中,M是Laplacian矩阵,Vc表示在c通道上向量化输出图像。
8.根据权利要求7所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,其特征在于,所述步骤8)中,将输出图像的语义分割结果和真实图像的语义分割结果进行对比,得到的差异作为形状损失函数来保持输出图像的形状一致性,具体包括:首先利用在医学图像上预训练的语义分割网络对真实图像进行分割,输出真实图像语义分割结果;然后利用同样的语义分割网络对输出图像进行分割,得到输出图像语义分割结果;最后将真实图像语义分割结果和输出图像语义分割结果进行像素级别的差异对比,求出形状损失函数,形状损失函数定义为:其中,S是语义分割器。