1.一种注意力机制引导的多模态全心脏图像分割方法,其特征在于,包括以下步骤:(1)生成跨模态图像:
引入生成对抗网络,该网络包括2个生成器和2个判别器,其中一组生成器和判别器对应CT图像,另一组生成器和判别器对应MRI图像;原始的CT图像和MRI图像分别输入对应的生成器中,分别生成对应于另一个模态的图像;
(2)跨模态特征学习与图像分割:
构建半孪生网络,该网络包括2个独立的编码器和1个共享的解码器,并在编码器与解码器之间设置注意力机制模块;将原始CT图像与由其生成的MRI图像一同输入其中一个编码器,将原始MRI图像与由其生成的CT图像一同输入另一个编码器,编码器中包含多层下采样层,2个编码器输出2个模态私有的特征谱图,注意力机制模块融合2个模态私有的特征并送入共享的解码器,解码器输出图像的分割结果。
2.根据权利要求1所述注意力机制引导的多模态全心脏图像分割方法,其特征在于,在生成对抗网络中,定义如下循环一致性损失函数Lcyc(GA,GB):上式中,xA、xB分别为原始CT图像、MRI图像样本, 为服从pd(xA)分布的xA的期望,为服从pd(xB)分布的xB的期望,GA、GB分别为对应CT图像和MRI图像的生成器;
在生成对抗网络中,定义如下分割损失函数Lseg(SA/B,GA,GB):上式中,映射SA/B:A→Y,B→Y,A表示CT模态,B表示MRI模态,Y表示分割标签,i代表一个训练样本,N为训练样本总数,yA、yB分别为在A模态和B模态的真实分割结果。
3.根据权利要求2所述注意力机制引导的多模态全心脏图像分割方法,其特征在于,综合循环一致性损失函数和分割损失函数,定义总的损失函数L(GA,GB,DA,DB,SA/B):L(GA,GB,DA,DB,SA/B)=LGAN(GA,DA)+LGAN(GB,DB)+λLcyc(GA,GB)+γLseg(SA/B,GA,GB)上式中,LGAN(GA,DA)和LGAN(GB,DB)为生成对抗损失函数,DA、DB分别为对应CT图像和MRI图像的判别器,λ、γ为损失函数的权重系数。
4.根据权利要求1所述注意力机制引导的多模态全心脏图像分割方法,其特征在于,在半孪生网络中,编码器局部化高分辨率的特征,并且捕捉更加精确的信息;解码器将上下文的信息传播到更高的分辨率层,并且学习高级的语义信息。
5.根据权利要求1所述注意力机制引导的多模态全心脏图像分割方法,其特征在于,所述注意力机制模块的流程如下:
首先将2个编码器输出的特征图谱经通道层连接得到初步融合图谱,将初步融合图谱经矩阵重组得到图谱1,将初步融合图谱依次经矩阵重组和转置得到图谱2,将图谱1和图谱
2作向量积后的结果经softmax函数得到注意力图谱,将注意力图谱与初步融合图谱作向量积的结果再与初步融合图谱进行逐个元素加和,得到最终的特征融合图谱。