1.一种基于图像转换和域泛化的无监督多模态医学图像配准方法,其特征在于,所述方法包括以下步骤:
1)联合训练阶段,过程如下:
首先,随机采样的真实图样本被转换模块转换为合成图样本,接着,转换模块和配准模块被联合优化,该优化需要这批真实图和合成图的共同参与;对于配准模块,在合成图样本被判定为“质量令人满意”的情况下,这批真实图/合成图才被用于计算配准过程中的损失项,且该损失被用于配准模块的泛化;在转换模块和配准模块都完成优化更新后,后续训练是否被执行的情况才被判断;当联合训练的进程达到人为设定的终点时,训练结束;
2)转换模块的优化目标:
对于已预训练好的配准网络,合成图的准确性越高,多模态配准的效果越好;CycleGAN因其适用于在未配对数据上进行双向图像转换训练而被采用为转换模型,该模型包含了两个转换器Gx和Gy以及两个辨别器Dx和Dy,辨别器Dx对real_x和syn_x*进行辨别,辨别器Dy对real_y和syn_y*进行辨别;其优化目标见公式(1):当转换模型训练理想时,syn_moving_image对应模态域与real_fixed_image的完全重合,即合成图足够逼真;此时,由于Rx已可完全胜任对应模态域的真实图之间的配准,因此,对输入的“real_xi”和“syn_xa*”,所输出形变场φx*所构成的样本分布空间与φx的分布空间一致;
利用φx*和φx,φy和φy*之间的差异,设计了形变场辨别器网络Dφx和Dφy,利用形变场进行对抗学习,对于Rx,Gx和Dφx这三个网络,在Dφx训练阶段,Gx和Rx的参数被固定,此时期望Dφx对于输入的φx和φx*可进行区分;在Gx训练阶段,Dφx和Rx的参数被固定,此时期望Dφx(φx)=Dφx(φx*),对应训练损失项见公式(2):通过迭代交替的对抗训练,syn_moving_image与real_fixed_image的模态域偏差将逐渐减小,Rx对二者的配准操作将更为准确;对于Dφy和Gy,有训练损失项见公式(3):利用所得到的φx*和φy*,设计了循环配准操作,可对转换器的训练集成额外的约束,用real image和两次形变之后的moved image之间的损失对转换模型的训练进行约束,见公式(4):形变场对抗损失项,形变循环一致性损失与CycleGAN自带的训练损失项被集成至转换模块的训练,优化目标见公式(5):将对抗学习损失项、即Ladv和Lregadv的权重都设置为1,且将涉及循环一致性损失的损失项、即Lcyc和Lregcyc的权重都设置为λ;
3)配准模块的优化目标,过程如下:
对于输入所提框架的真实图样本,转换模块先进行训练,接着,配准模块根据真实图和转换所得的合成图进行有策略的微调泛化训练;
对于配准网络Rx,首先采用定量评价指标FID对该样本的”syn_xa*”和”real_xi”进行逼真性度量fid_x的计算;将两个损失“自适应得”反馈于Rx后端网络层的参数更新,对Rx的配准功能进行泛化,Rx在微调泛化阶段的优化目标见公式(6):对于配准网络Ry,”syn_yi*”和”real_ya”之间的fid_y被计算,当fid_y优于人为设定阈值δ2时,Ry被微调泛化,优化目标见公式(7):在联 合 训练 阶 段,各 网络 模 块的 参 数 更新 顺 序被 设 置为