利索能及
我要发布
收藏
专利号: 2025102988381
申请人: 佛山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种模态输入可变的多模态医学图像融合模型,其特征在于,包括基于Mamba的条件扩散融合模型和期望最大化模块;

所述基于Mamba的条件扩散融合模型用于以预设纯噪声图像作为初始化的融合图像,逐步地对融合图像进行去噪处理;

所述期望最大化模块用于根据输入源图像及其模态数量,通过调整似然性对所述基于Mamba的条件扩散融合模型每步去噪处理后的输出特征进行校正,得到校正输出特征;在所述基于Mamba的条件扩散融合模型完成预设步数的去噪处理前,把所述校正输出特征作为输入所述基于Mamba的条件扩散融合模型的融合图像以进行下一步去噪处理;在所述基于Mamba的条件扩散融合模型完成预设步数的去噪处理时,把所述校正输出特征作为最终融合图像进行输出;以此,使所述最终融合图像与所述输入源图像及其模态数量相匹配;所述输入源图像的模态数量为2或3。

2.根据权利要求1所述的模态输入可变的多模态医学图像融合模型,其特征在于,所述期望最大化模块在根据输入源图像及其模态数量,通过调整似然性对所述基于Mamba的条件扩散融合模型每步去噪处理后的输出特征进行校正,得到校正输出特征的时候,执行:根据以下公式,使用坐标下降法迭代计算校正的第一参考特征:

其中,k、u为约束变量, 为当前迭代步得到的所述校正的第一参考特征, 为上一迭代步得到的所述校正的第一参考特征, 的初始值为对应于 的第一参考特征x, 为所述基于Mamba的条件扩散融合模型在当前步去噪处理后的输出特征,y为第二参考特征,为快速傅里叶逆变换函数, 为快速傅里叶逆变换函数, 为梯度算子, 为k的梯度, 表示 的共轭复数, 表示逐元素相乘, 和 为常数参数, 和分别表示输入源图像中的两个模态的源图像,M、N为潜在变量矩阵,并满足:;

其中, 为M中的第i行第j列的元素, 为N中的第i行第j列的元素, 为对应于的中间量, 为对应于 的中间量, 为m中的第i行第j列的元素, 为n中的第i行第j列的元素,m、n为图像融合概率对数似然函数的条件期望的潜变量矩阵, 为y中的第i行第j列的元素, 为x中的第i行第j列的元素, 为输入源图像中的第三个模态的源图像,若输入源图像只包含两个模态的源图像,则 为零矩阵, 表示 的条件期望, 表示 的条件期望, 表示 的期望,

表示 的期望, 为 的期望均值, 为 的期望均值,h为源图像的高度像素尺寸,w为源图像的宽度像素尺寸;

根据所述校正的第一参考特征,利用以下公式计算所述校正输出特征:;

其中, 为所述校正输出特征。

3.根据权利要求1所述的模态输入可变的多模态医学图像融合模型,其特征在于,所述基于Mamba的条件扩散融合模型包括第一输入层、补丁化块、编码块、若干个依次串接的DFM块、第一正则化层、线性层和第一输出层;所述补丁化块连接在所述第一输入层和首个所述DFM块之间,所述编码块用于对时间步进行编码后输入各个所述DFM块;最后一个所述DFM块、所述第一正则化层和所述线性层依次连接;所述第一输入层的输出和所述线性层的输出相减后输入所述第一输出层;

所述补丁化块用于对输入图像进行补丁化生成多个标记序列;

所述DFM块用于对输入的标记序列进行编码处理;

所述线性层用于对标记序列进行解密处理得到并输出预测噪声。

4.根据权利要求3所述的模态输入可变的多模态医学图像融合模型,其特征在于,所述DFM块包括第二输入层、第二正则化层、缩放平移层、DF‑Mamba块、缩放层、第一全连接层和第二输出层;所述第二输入层、所述第二正则化层、所述缩放平移层、所述DF‑Mamba块和所述缩放层依次连接;所述第一全连接层用于对所述编码块输出的编码后的时间步进行维度对齐和特征变换后输入所述缩放层;所述缩放层的输出和所述第二输入层的输出相加后输入所述第二输出层。

5.根据权利要求4所述的模态输入可变的多模态医学图像融合模型,其特征在于,所述DF‑Mamba块包括依次连接的第三输入层、展平和线性投影块、扩散融合Mamba编码器、第二全连接层和第三输出层。

6.根据权利要求5所述的模态输入可变的多模态医学图像融合模型,其特征在于,所述扩散融合Mamba编码器包括第四输入层、第三正则化层、向前传播conv1d块、向前传播SSM块、激活层和第四输出层;所述第三正则化层的输入端与所述第四输入层的输出端连接,所述第三正则化层的输出端分别与所述向前传播conv1d块的输入端和所述激活层的输入端连接,所述向前传播SSM块的输入端与所述向前传播conv1d块的输出端连接,所述向前传播SSM块的输出和所述激活层的输出相乘后与所述第四输入层的输出相加,相加结果输入所述第四输出层。

7.一种模态输入可变的多模态医学图像融合方法,其特征在于,包括步骤:A1.构建初始的模态输入可变的多模态医学图像融合模型;所述初始的模态输入可变的多模态医学图像融合模型为权利要求1‑6任一项所述的模态输入可变的多模态医学图像融合模型;

A2.对所述初始的模态输入可变的多模态医学图像融合模型中的基于Mamba的条件扩散融合模型进行训练,得到训练后的模态输入可变的多模态医学图像融合模型;

A3.利用所述训练后的模态输入可变的多模态医学图像融合模型对待融合源图像进行图像融合;所述待融合源图像包括两个模态的源图像或三个模态的源图像。

8.根据权利要求7所述的模态输入可变的多模态医学图像融合方法,其特征在于,步骤A2包括:A201.获取医学图像集,所述医学图像集包括多种不同模态的医学图像;

A202.把所述医学图像集划分为训练集和验证集;

A203.利用所述训练集对所述基于Mamba的条件扩散融合模型进行训练;

A204.利用所述验证集验证训练后的基于Mamba的条件扩散融合模型。

9.根据权利要求8所述的模态输入可变的多模态医学图像融合方法,其特征在于,步骤A203包括:B1.从所述训练集中随机选取一个医学图像作为训练图像;

B2.按预设步数,在所述训练图像中分步添加随机噪声;

B3.在每个时间步中执行:

把当前时间步添加随机噪声后的训练图像输入所述基于Mamba的条件扩散融合模型,得到所述基于Mamba的条件扩散融合模型输出的当前时间步添加随机噪声前的训练图像的预测图像;

根据所述预测图像和当前时间步添加随机噪声前的训练图像,计算损失函数;

根据所述损失函数,通过反向传播更新所述基于Mamba的条件扩散融合模型的模型参数;

B4.重复执行步骤B1‑步骤B3,直到满足预设结束条件,则停止训练。

10.根据权利要求7所述的模态输入可变的多模态医学图像融合方法,其特征在于,步骤A3包括:把所述待融合源图像输入所述训练后的模态输入可变的多模态医学图像融合模型中的期望最大化模块,并把预设纯噪声图像输入所述训练后的模态输入可变的多模态医学图像融合模型中的基于Mamba的条件扩散融合模型,得到所述训练后的模态输入可变的多模态医学图像融合模型输出的融合图像。