1.基于原语推理网络的三模态医学图像融合方法,其特征在于,包括以下步骤:获取三模态医学图像并进行图像预处理,得到预处理后的三模态医学图像,所述三模态医学图像包括第一类源图像、第二类源图像和第三类源图像;
将预处理后的三模态医学图像输入至多尺度原语关系推理注意力网络,所述多尺度原语关系推理注意力网络包括第一挤压与激励注意力块、具有残差连接的多尺度模块、第二多尺度块、挤压与激励推理注意力模块和卷积层;
基于第一挤压与激励注意力块对输入的预处理后的三模态医学图像进行卷积处理并将卷积得到特征图发送至不同尺度的卷积分支,具有残差连接的多尺度模块用于提取源图像的多尺度特征,得到多张多尺度特征图,挤压与激励推理注意力块用于对多尺度特征图提取全局语义信息,生成具备全局特征和局部特征的多张特征图,并与具有残差连接的多尺度模块的输入特征图做逐元素加法,得到第一输出结果;
基于第二多尺度块对第一输出结果进行卷积处理并将卷积得到特征图发送至不同尺度的卷积分支,多尺度模块用于提取特征图的多尺度特征,得到多张多尺度特征图,挤压与激励推理注意力块用于对多尺度特征图提取全局语义信息,生成具备全局特征和局部特征的多张特征图;
对所得到的所有特征图输入至多尺度原语推理注意力网络最后的卷积层中整合得到能量图;
将预处理后的三模态医学图像与对应的能量图进行结合,并通过能量比融合策略对结合结果进行融合处理,输出初步的融合图像;
基于判别器与生成器构建对抗性博弈关系模型对初步的融合图像判别处理,生成包含更多第三类源图像信息的融合图像,得到最终的融合图像。
2.根据权利要求1所述基于原语推理网络的三模态医学图像融合方法,其特征在于,所述获取三模态医学图像并进行图像预处理,得到预处理后的三模态医学图像这一步骤,其具体包括:获取三模态医学图像,所述三模态医学图像包括第一类源图像、第二类源图像和第三类源图像,其中,所述第一类源图像包括MR‑T2图像,所述第二类源图像包括PET图像和SPECT图像,第三类源图像包括MR‑Gad图像、MR‑T1图像和CT图像;
对第二类源图像转换为YCRCB图像,获取第二类源图像在Y通道下的第二类源图像;
结合第一类源图像、Y通道下的第二类源图像和第三类源图像,构建预处理后的三模态医学图像。
3.根据权利要求2所述基于原语推理网络的三模态医学图像融合方法,其特征在于,所述基于第一多尺度挤压与激励推理注意力模块对输入的预处理后的三模态医学图像进行卷积处理并将卷积得到特征图发送至不同尺度的卷积分支这一步骤,其具体包括:对输入的预处理后的三模态医学图像进行卷积处理,获取全局注意力图;
基于全局注意力图进行信息收集处理,获取全局描述算子;
基于全局描述算子进行原语关系推理,获取增强原语关系推理注意力图;
将增强原语关系推理注意力图进行特征分配至预处理后的三模态医学图像中,获取输出结果,所述输出结果为既具备全局特征,又有局部特征的多张特征图。
4.根据权利要求3所述基于原语推理网络的三模态医学图像融合方法,其特征在于,所述基于全局注意力图进行信息收集处理,获取全局描述算子这一步骤,其具体包括:分别对预处理后的三模态医学图像和全局注意力图做减少维度预处理,得到对应的低维度预处理后的三模态医学图像和低维度全局注意力图;
对低维度预处理后的三模态医学图像和低维度全局注意力图进行双线性池化运算,得到全局描述算子。
5.根据权利要求4所述基于原语推理网络的三模态医学图像融合方法,其特征在于,所述基于全局描述算子进行原语关系推理,获取增强原语关系推理注意力图这一步骤,其具体包括:将全局描述算子分别嵌入至两个具有不同权重参数的嵌入空间,通过计算成对亲和力建立关系得到亲和矩阵;
通过图卷积网络对亲和矩阵中的描述算子之间的关系进行推理生成原语关系推理注意力图;
通过生成的原语关系推理注意力图对全局描述算子进行增强处理,获取增强原语关系推理注意力图。
6.根据权利要求5所述基于原语推理网络的三模态医学图像融合方法,其特征在于,所述将增强原语关系推理注意力图进行特征分配至预处理后的三模态医学图像中,获取输出结果这一步骤,其具体包括:将预处理后的三模态医学图像进行转化处理,生成可学习的注意力向量图;
将增强原语关系推理注意力图中的全局信息进行特征分配至可学习的注意力向量图中,获取输出结果。
7.根据权利要求6所述基于原语推理网络的三模态医学图像融合方法,其特征在于,所述将预处理后的三模态医学图像与对应的能量图进行结合,并通过能量比融合策略对结合结果进行融合处理,输出初步的融合图像这一步骤,其具体包括:通过能量比融合策略对预处理后的三模态医学图像进行处理,生成对应的融合系数;
基于融合系数,将预处理后的三模态医学图像与对应的能量图进行结合,输出初步的融合图像。
8.根据权利要求7所述基于原语推理网络的三模态医学图像融合方法,其特征在于,所述基于判别器与生成器构建对抗性博弈关系模型对初步的融合图像判别处理,生成包含更多第三类源图像信息的融合图像,得到最终的融合图像这一步骤,其具体包括:基于判别器与生成器构建对抗性博弈关系模型,所述对抗性博弈关系模型包括三层网络结构和sigmoid函数,其中,第一层网络结构包括一个3×3的卷积层和ReLU激活函数,第二层网络结构包括一个3×3的卷积层、一个BN层和ReLU激活函数,第三层网络结构包括一个自适应最大值池化层和一个1×1的卷积层;
基于对抗性博弈关系模型的第一层网络结构,对初步的融合图像进行特征提取,得到多张特征图;
基于对抗性博弈关系模型的第二层网络结构,对特征图进行二次提取,并加入BN和ReLU加速训练速度;
基于对抗性博弈关系模型的第三层网络结构,对特征图进行最大值池化,最后使用1×
1的卷积层计算标量;
基于对抗性博弈关系模型的sigmoid函数,对第三层网络结构输出的标量映射到[0,1]区间。
9.基于原语推理网络的三模态医学图像融合系统,其特征在于,包括以下模块:预处理模块,用于获取三模态医学图像并进行图像预处理,得到预处理后的三模态医学图像,所述三模态医学图像包括第一类源图像、第二类源图像和第三类源图像;
计算模块,将预处理后的三模态医学图像输入至多尺度原语关系推理注意力网络,所述多尺度原语关系推理注意力网络包括第一挤压与激励注意力块、具有残差连接的多尺度模块、第二多尺度块、挤压与激励推理注意力模块和卷积层;
基于第一挤压与激励注意力块对输入的预处理后的三模态医学图像进行卷积处理并将卷积得到特征图发送至不同尺度的卷积分支,具有残差连接的多尺度模块用于提取源图像的多尺度特征,得到多张多尺度特征图,挤压与激励推理注意力块用于对多尺度特征图提取全局语义信息,生成具备全局特征和局部特征的多张特征图,并与具有残差连接的多尺度模块的输入特征图做逐元素加法,得到第一输出结果;
基于第二多尺度块对第一输出结果进行卷积处理并将卷积得到特征图发送至不同尺度的卷积分支,多尺度模块用于提取特征图的多尺度特征,得到多张多尺度特征图,挤压与激励推理注意力块用于对多尺度特征图提取全局语义信息,生成具备全局特征和局部特征的多张特征图;
对所得到的所有特征图输入至多尺度原语推理注意力网络最后的卷积层中整合得到能量图;
融合模块,用于将预处理后的三模态医学图像与对应的能量图进行结合,并通过能量比融合策略对结合结果进行融合处理,输出初步的融合图像;
判别模块,基于判别器与生成器构建对抗性博弈关系模型对初步的融合图像判别处理,生成包含更多第三类源图像信息的融合图像,得到最终的融合图像。