1.多模态MR图像合成方法,其特征在于,包括以下步骤:
补丁互补预训练阶段,获取不同模态的MR图像,划分为相互不重叠的块,并对其中两个模态的图像进行随机对齐遮蔽,即第一个模态图像遮蔽的块,在第二个输入的模态图像相同位置的块不遮蔽,基于编码器提取每个模态图像中的对齐标记和相应的位置,基于解码器得到两个目标模态的图像;
边缘增强微调阶段,使用Sobel生成器生成与输入模态图像对应的边缘图,将生成的边缘图与原始模态图像连接,利用预训练阶段通过多模态互补的方式形成特定模态的特征表示;将这些特征表示输入到MCF‑Net的两个独立编码器分支中,每个分支包含多个下采样阶段;在每个阶段,采用SwinTransformer层和补丁合并模块,通过连续的操作将特征图的分辨率降低,同时使特征维度加倍,形成分层的特征表示,并通过空间注意力引导融合、通道注意力引导融合组成的ADF模块,将上述得到的特征表示融合到一起,最终得到第三个目标模态图像;将合成的第三个目标模态图像和真实的图像通过预训练的编码器得到的特征进行一致性处理,并通过训练得到合成的真实模态的图像。
2.如权利要求1所述的多模态MR图像合成方法,其特征在于,基于编码器提取每个模态图像中的对齐标记和相应的位置,具体为:利用每个模态对应的编码器获取该模态图像中的对齐标记和相应的位置,通过共享编码器获取不同模态图像的高维数据编码表示。
3.如权利要求1所述的多模态MR图像合成方法,其特征在于,
基于解码器得到目标模态的图像,具体为:通过与共享编码器对应的共享解码器执行跨模态交互,基于特定解码器得到相应目标模态的图像。
4.如权利要求1所述的多模态MR图像合成方法,其特征在于,特定模态的特征表示,通过每个模态对应的编码器的分支实现下采样,每个模态对应的解码器提高特征分辨率,经融合得到得到目标模态的图像。
5.如权利要求4所述的多模态MR图像合成方法,其特征在于,经融合得到得到目标模态的图像,包括:确定每个模态对应的编码器获取的特征表示,每个模态对应解码器获取的上采样特征表示;
在空间注意力引导阶段,拼接编码器获取的特征表示和解码器获取的上采样特征表示,通过逐点卷积运算,得到空间注意力图并缩放;
在空间注意力图和输入特征之间进行空间乘法,获得过滤后的特征。
6.如权利要求4所述的多模态MR图像合成方法,其特征在于,经融合得到得到目标模态的图像,还包括:在通道注意力引导阶段,过滤后的特征经池化处理,获得通道上下文描述符;
重组通道上下文描述符,得到融合后的特征图并作为下一个上采样阶段的输入。
7.如权利要求1所述的多模态MR图像合成方法,其特征在于,
一致性处理,具体为:以融合后得到的目标模态图像和相应的缺失模态的真实值,并基于特征一致性损失衡量合成图像和真实值之间的差异,通过权重参数平衡损失函数以实现一致性处理。
8.多模态MR图像合成系统,其特征在于,包括:
补丁互补预训练模块,被配置为:获取不同模态的MR图像,划分为相互不重叠的块,并对其中两个模态的图像进行随机对齐遮蔽,即第一个模态图像遮蔽的块,在第二个输入的模态图像相同位置的块不遮蔽,基于编码器提取每个模态图像中的对齐标记和相应的位置,基于解码器得到两个目标模态的图像;
边缘增强微调模块,被配置为:使用Sobel生成器生成与输入模态图像对应的边缘图,将生成的边缘图与原始模态图像连接,利用预训练阶段通过多模态互补的方式形成特定模态的特征表示;将这些特征表示输入到MCF‑Net的两个独立编码器分支中,每个分支包含多个下采样阶段;在每个阶段,采用SwinTransformer层和补丁合并模块,通过连续的操作将特征图的分辨率降低,同时使特征维度加倍,形成分层的特征表示,并通过空间注意力引导融合、通道注意力引导融合组成的ADF模块,将上述得到的特征表示融合到一起,最终得到第三个目标模态图像;将合成的第三个目标模态图像和真实的图像通过预训练的编码器得到的特征进行一致性处理,并通过训练得到合成的真实模态的图像。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1‑7任一项所述多模态MR图像合成方法中的步骤。
10.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如权利要求1‑7任一项所述多模态MR图像合成方法中的步骤。