1.一种基于生成对抗网络的多任务医学图像增强方法,其特征在于:包括以下步骤:步骤1,构建训练数据集,并对训练数据集进行尺寸统一和数据增广操作;
步骤2,使用动态卷积和残差密集网络构成生成对抗网络模型;
步骤3,设置所述网络模型的超参数和损失函数,并对所述损失函数进行优化;
步骤4,输入预处理后的训练数据集到生成对抗网络模型,并训练网络得到已训练的生成对抗网络模型;
步骤5,输入测试数据集到网络中,得到融合的超分辨率医学图像;
步骤6,使用互信息Qmi和基于结构相似性设计的Qyang对融合的超分辨率医学图像质量进行评估;
步骤2中构成的生成对抗网络包括一个生成模型G和两个判别模型 和 其中生成模型包括两个编码器和三个解码器,编码器包括动态卷积层、密集残差网络、上采样模块,所述动态卷积层将输入特征全局池化并输入全连接层和ReLU激活,最后经过Softmax层激活得到每个卷积核的权重,将所述权重与每个卷积核线性加权得到最终卷积核,所述密集残差网络包括五层卷积层链接激活层。
2.根据权利要求1所述一种基于生成对抗网络的多任务医学图像增强方法,其特征在于:步骤3中超参数包括批大小、初始学习率、迭代次数和学习率衰减策略。
3.根据权利要求1所述一种基于生成对抗网络的多任务医学图像增强方法,其特征在于:步骤3中损失函数包括超分辨率损失函数和融合损失函数,其中,超分辨率损失函数数学表达如下:式(1)中,α表示两种损失之间的比例、N表示图像的所有像素、Isr表示网络输出的超分辨率图像、Ihr表示原始高分辨率参考图像,ψ(g)表示通过将图像输入到预先训练的VGG16网络中所获得的特征;
所述融合损失函数由对抗损失和内容损失构成,具体如下:
式(2)第1项和第2项分别表示模态m1和模态m2的损失函数,{λ1,λ2,β,γ}为平衡参数,和 为根据不同模态图像采用的内容损失函数, 和 分别表示生成器G和判别器 与 间的对抗性损失,定义如下:
4.根据权利要求3所述一种基于生成对抗网络的多任务医学图像增强方法,其特征在于:针对PET图像,其内容损失函数表示为 其公式为:其中IPET为PET图像,Im为另一模态图像。
5.根据权利要求3所述一种基于生成对抗网络的多任务医学图像增强方法,其特征在于:针对MRI图像或CT图像,其内容损失函数表示为 采用对源图像的拉普拉斯特征进行约束,表达式为:其中Laplace(·)表示拉普拉斯变换,IMRI/CT表示MRI或者CT图像。
6.根据权利要求3所述一种基于生成对抗网络的多任务医学图像增强方法,其特征在于:所述判别器 和 的对抗性损失采用WGAN‑GP判别器的损失函数,其公式如下:其中, 表示从 到Ii的随机采样数据, 表
示梯度。
7.根据权利要求3所述一种基于生成对抗网络的多任务医学图像增强方法,其特征在于:步骤4的具体操作为:步骤4.1,将原始数据训练集输入编码器与超分辨率解码器前向传播中,并使用超分辨率损失函数对两个支路进行训练;
步骤4.2,将步骤4.1中训练的编码器参数提取出来赋值到融合网络的编码器中并将其参数冻结,使用融合损失函数对网络模型进行训练,得到已训练的模型。