利索能及
我要发布
收藏
专利号: 2025107031314
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于Transformer和双分支特征解耦的多模态医学图像融合方法,其特征在于,包括:获取多模态医学图像,对所述多模态医学图像进行归一化处理,得到预处理后的多模态医学图像;

将预处理后的多模态医学图像输入医学图像融合模型中进行图像融合,得到融合图像;其中,所述医学图像融合模型包括依次连接的浅层特征提取模块、双模态交叉注意力模块、双分支特征解耦模块和拼接融合模块;

所述医学图像融合模型的处理过程,具体包括:

将预处理后的多模态医学图像输入浅层特征提取模块中,进行边缘特征增强并通过通用知识编码器提取图像的浅层特征,得到多尺度初始特征表示;

将所述多尺度初始特征表示输入双模态交叉注意力模块中,通过梯度提取块和交叉注意力块增强跨模态特征交互,得到梯度增强特征和交叉注意力特征,将得到的梯度增强特征和交叉注意力特征通过逐元素相加融合,得到加权优化融合特征;

将加权优化融合特征输入双分支特征解耦模块中,提取全局特征和局部特征;

将所述全局特征和所述局部特征输入至拼接融合模块中进行特征拼接与重建,生成融合图像。

2.根据权利要求1所述的方法,其特征在于,所述医学图像融合模型的训练过程,具体包括:获取训练数据,所述训练数据包括多模态医学训练图像及对应的融合结果;

构建初始医学图像融合模型,将所述训练数据输入所述初始医学图像融合模型进行图像融合,并以图像融合后的初始训练结果与所述多模态医学训练图像对应的融合结果之间的损失最小为目标,进行训练,得到训练好的医学图像融合模型。

3.根据权利要求1所述的方法,其特征在于,所述浅层特征提取模块的处理过程,具体包括:输入的多模态医学图像 的初始特征为 在密集连接机制下,生成特征 :,

式中, 代表3×3卷积和Leaky ReLU激活的组合函数;

通过梯度增强单元应用各向异性Sobel算子提取梯度信息,以增强图像的结构轮廓和边缘细节;设Sobel过滤器 、 分别作用于X方向和Y方向的梯度计算:,

其中, 代表对输入图像的离散小波变换,GX为X方向的梯度计算结果,GY为Y方向的梯度计算结果;

采用残差融合策略结合原始特征与增强梯度信息,得到输出特征 、 ,再通过通用知识编码器,生成多尺度的初始特征表示 、 。

4.根据权利要求1所述的方法,其特征在于,所述双模态交叉注意力模块的处理过程,具体包括:构建交叉模态互补网络,所述交叉模态互补网络包括交叉注意力块和梯度提取块,所述交叉注意力块由相互交互的第一交叉注意力块和第二交叉注意力块组成;

对初始特征表示进行3×3卷积和ReLU激活函数,并将模态A与模态B的输入特征分别作为第一梯度提取块、第一交叉注意力块、第二交叉注意力块以及逐元素相加的分量,最终特征相加的结果即为加权优化融合特征。

5.根据权利要求1所述的方法,其特征在于,所述双分支特征解耦模块的处理过程,具体包括:将加权优化融合特征输入双分支特征解耦模块中,通过全局表征编码器提取输入数据的低频共有特征,得到全局特征;通过局部纹理编码器提取输入数据的高频特有特征,得到局部特征。

6.根据权利要求1所述的方法,其特征在于,所述拼接融合模块的处理过程,具体包括:在通道维度上对不同模态的全局特征和局部特征分别进行拼接,得到融合后的全局特征和融合后的局部特征;

组合融合后的全局特征和融合后的局部特征,得到融合特征;

将融合特征输入解码器中进行特征重建,生成融合图像。

7.一种基于Transformer和双分支特征解耦的多模态医学图像融合系统,应用如权利要求1‑6中任一项所述的方法,其特征在于,包括:数据采集模块,用于获取多模态医学图像,对所述多模态医学图像进行归一化处理,得到预处理后的多模态医学图像;

图像融合模块,用于将预处理后的多模态医学图像输入医学图像融合模型中进行图像融合,得到融合图像;其中,所述医学图像融合模型包括依次连接的浅层特征提取模块、双模态交叉注意力模块、双分支特征解耦模块和拼接融合模块。

8.一种电子设备,其特征在于,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1‑6中任一项所述的一种基于Transformer和双分支特征解耦的多模态医学图像融合方法。

9.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1‑6中任一项所述的一种基于Transformer和双分支特征解耦的多模态医学图像融合方法。