1.一种三维多模态核磁共振图像重建方法,其特征在于,包括以下步骤:步骤1,对数据进行处理,选取多模态,对于目标模态进一步做欠采样处理并保留真值;
所述多模态包括辅助模态和目标模态;
步骤2,使用多模态编码器作为特征提取模块,用于提取并交互多模态数据的有效特征,在编码过程中使用基于注意力机制的多模态交互模块将多模态中的有效特征进行交互,得到目标模态的最终特征;
步骤3,建立基于多尺度特征融合的解码模块,用于对编码过程中有效特征的跨域链接和目标模态特征的逐层解码:步骤1处理的数据作为多模态编码器的输入,步骤2得到的目标模态的最终特征作为解码模块的输入,并使用多个模态编码过程中逐级得到的特征在多尺度融合后进行跨域链接,辅助目标模态的解码重建;
步骤4,进行基于监督学习的网络训练:步骤2~步骤3建立的多模态编码器和解码模块构成了基于多尺度特征融合和注意力机制的多模态MRI重建模型,采用监督学习策略,使用步骤1处理后的数据和真值来训练多模态MRI重建模型,从而重建目标MRI图像;
步骤1包括:
步骤1‑1,对3DMRI图像数据进行预处理,消去图像数据中的极小极大异常值,将灰度值归一化至0~255,同时针对图像边缘无用的黑边进行裁剪,保留有效部分;
步骤1‑2,选取n种MRI成像中的模态作为使用数据,记为m1,m2,…,mn,mn表示MRI成像中的第n种模态,并选择其中之一作为目标模态,其余模态作为辅助模态用以辅助目标模态的重建,然后将目标模态的数据在备份一份真值的情况下进行欠采样,将欠采样后的数据和其他两个模态的数据作为模型训练数据;
步骤2包括:
步骤2‑1,图像的编码过程是特征提取的过程,在编码中对各个模态的数据进行一步步下采样,首先使用卷积神经网络CNN组成的下采样模块进行降维和特征提取,公式为:其中 表示第t次下采样时所输入的m模态的特征, 表示第t次下采样后所得到的m模态的特征,m是m1,m2,…,mn其中之一, 是模型初始输入数据, 分别表示m模态的数据在第t次下采样时卷积层的可学习权重和偏置项,Relu表示Relu激活函数(线性整流函数,Linear rectification function);
步骤2‑2,所述基于注意力机制的多模态交互模块执行如下步骤:在每一次下采样后对n个模态的数据进行交互:首先将n个模态的数据在通道维度上拼接:t
其中Concate表示拼接操作,s表示中间参数; 表示第t次下采样后所得到的第n种模态的特征;
t
接着将s 输入到设计的注意力交互模块,所述注意力交互模块是一个卷积块注意力模块CBAM:t
其中Mc表示通道注意力图,Ms表示空间注意力图, 表示逐元素相乘,s ′表示中间参数,ts″表示注意力交互模块的输出;
由下式计算通道注意力:
t t
其中σ表示sigmoid激活函数, 表示s经过平均池化AvgPool的结果, 表示s经过最大池化MaxPool的结果,MLP表示线性层; 与 表示第t次多模态交互时线性层MLP的两个可学习权重;
由下式计算空间注意力:
其中 表示第t次多模态交互时使用卷积核大小为7×7的卷积层计算空间注意力,与 表示表示卷积核大小为7×7的卷积层的可学习权重和偏置项,在平均池化和最大池化后,选择将平均池化和最大池化得到的结果沿通道维度拼接,再进行卷积;
将最终的输出沿通道维度等额分割为三个特征图,与之前的拼接操作对应,公式为:其中Split表示沿通道维度等额分割, 表示第t次多模特交互最终的第n种模态的输出;
步骤2‑3,将多模态交互模块以残差块的形式与下采样模块连接,每一次下采样的输入由上一次下采样块的输出和多模态交互模块的输出组成:其中, 表示步骤2‑2中第t次多模态交互得到的m模态的结果;
步骤2‑4,步骤2‑1~2‑3组成了步骤2所述的多模态编码器,充当特征提取模块;如果共有n次下采样,则得到目标模态的最终特征 tar表示目标模态,是m1,m2,…,mn其中之一。
2.根据权利要求1所述的方法,其特征在于,步骤3包括:步骤3‑1,设计上采样块,对步骤2中多模态编码器所最终提取出来的目标模态的特征进行上采样,上采样块包括一个卷积层和一个反卷积层,公式为:t
其中y表示第t次上采样的输入,如果共有n次上采样和下采样,则第一次上采样的输入1
y为最后一次下采样的输出 即 Conv表示卷积层, 和 分别表示第t个上采样块中卷积层的可学习权重与偏置项,Deconv表示反卷积层, 和 分别表示t第t个上采样块中反卷积层的可学习权重与偏置项;u表示第t次上采样后得到的结果;
步骤3‑2,对于解码过程得到的多模态特征,在跨域链接之前,先沿通道维度进行拼接:其中 表示m1,m2,…,mn模态经过第n+1‑t次下采样后得到的特征;
n+1‑t
在第t次上采样后,使用第n+1‑t次下采样后的特征进行跨域链接;x 表示中间参数;
步骤3‑3,设计基于多尺度特征融合的跨域链接模块,在每一次上采样后,将编码过程中得到的多模态特征融合并跨域链接到编码过程,为上采样提供特征信息:对于拼接后的多模态特征,使用三种卷积核大小分别为1*1,3*3,5*5的卷积层捕获辅助信息,再与上采样后的特征图拼接,得到多尺度特征,公式为:t
其中u表示第t次上采样后得到的特征图, 表示第t次跨域链接模块中提取出的多尺度特征;Conv1×1、Conv3×3、Conv5×5表示卷积核大小分别为1*1,3*3,5*5的卷积层;
对于融合提取出的多对比特征,使用sigmoid激活函数来学习归一化特征图以加强特征表示,最后使用一个残差模块将多尺度特征与加强后的特征表示统合:t
其中⊙表示逐元素相乘,F 表示基于多尺度特征融合的跨域链接模块最终的输出,t表示对不同的多尺度特征Fi使用卷积核大小为3*3的卷积层,i=1,2,3;
t+1
步骤3‑4,对于第t+1次上采样的输入,即第t次多尺度特征融合模块的输出y 为:t+1 t
y =F
步骤3‑5,在最后一次上采样后,不再使用跨域链接,而是后接一个卷积层,对最终的特征图使用sigmoid激活函数并映射到0~255的灰度值:n
P=255(σ(Conv3×3(y)))
n
其中P表示最终重建得到的目标模态图像,y表示第n次上采样后得到的特征图。
3.根据权利要求2所述的方法,其特征在于,步骤4包括:步骤4‑1,建立平均绝对误差损失函数Ll1;
步骤4‑2,建立结构相似性损失函数LSSIM;
步骤4‑3,建立完整的损失函数L;
步骤4‑4,利用步骤4‑3建立的损失函数,通过监督训练的方式,训练多模态MRI重建模型。
4.根据权利要求3所述的方法,其特征在于,步骤4‑1中,所述平均绝对误差损失函数Ll1公式为:其中,p表示最终重建得到的目标模态图像P中像素的索引,x(p)表示p位置模型的预测值,y(p)表示p位置上标签的真值,N表示最终重建得到的目标模态图像P中像素的总个数。
5.根据权利要求4所述的方法,其特征在于,步骤4‑2中,所述结构相似性损失函数LSSIM公式为:其中SSIM表示结构相似性函数;μx,μy分别表示输出图像的像素平均值和真值的像素平均值, 分别表示输出图像的像素值方差和真值的像素值方差,σxy表示输出图像和真
2 2
值的像素值协方差,C1、C2是常数,C1=(k1L) ,C2=(k2L) ,L是像素值的动态范围,k1和k2是设定的常数。
6.根据权利要求5所述的方法,其特征在于,步骤4‑3中,所述完整的损失函数L公式为:L(P)=γLl1(P)+(1‑γ)LSSIM(P)其中,γ表示损失函数的权重。
7.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行如权利要求1至6中任一项所述的方法的步骤。
8.一种存储介质,其特征在于,存储有计算机程序或指令,当所述计算机程序或指令在计算机上运行时,执行如权利要求1至6中任一项所述的方法的步骤。