利索能及
我要发布
收藏
专利号: 2023103593120
申请人: 佛山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.多通道整合网络的多模态医学图像融合方法,其特征在于,包括以下步骤:获取待融合的多模态医学图像;

引入密集残差块,构建多尺度多通道图像融合网络模型;

将待融合的多模态医学图像输入至多尺度多通道图像融合网络模型进行融合处理,输出融合后的多模态医学图像;

所述将待融合的多模态医学图像输入至多尺度多通道图像融合网络模型进行融合处理,输出融合后的多模态医学图像这一步骤,其具体包括:将待融合的多模态医学图像输入至多尺度多通道图像融合网络模型;

基于多尺度多通道图像融合网络模型的第一卷积层、归一化层和线性修改单元对待融合的多模态医学图像进行初步的特征提取处理,得到初始特征图;

将初始特征图分别输入至一次残差密集连接层、二次残差密集连接层和三次残差密集连接层进行特征提取处理,得到对应的特征图;

多尺度多通道图像融合网络模型的通道提取模块接收每个残差密集连接层输出的特征图,对所述特征图进行信息提取处理,得到对应的特征图的空间域信息、通道信息和细粒度特征信息;

将特征图的空间域信息、通道信息和细粒度特征信息进行通道合并处理,得到综合特征图;

基于多尺度多通道图像融合网络模型的第二卷积层对综合特征图进行融合处理,得到融合后的多模态医学图像。

2.根据权利要求1所述多通道整合网络的多模态医学图像融合方法,其特征在于,所述获取待融合的多模态医学图像这一步骤,其具体包括:获取具有RGB颜色空间的多模态医学图像;

对具有RGB颜色空间的多模态医学图像进行颜色空间转换处理,得到具有YCrCb颜色空间的多模态医学图像,所述YCrCb颜色空间的多模态医学图像包括Y通道、Cr通道和Cb通道;

将YCrCb颜色空间的多模态医学图像的Y通道图像与RGB颜色空间的多模态医学图像进行合并,得到待融合的多模态医学图像。

3.根据权利要求2所述多通道整合网络的多模态医学图像融合方法,其特征在于,所述引入密集残差块,构建多尺度多通道图像融合网络模型这一步骤,其具体包括:构建多尺度多通道图像融合网络模型,所述多尺度多通道图像融合网络模型包括第一卷积层、归一化层、线性修改单元、密集残差块、通道提取模块和第二卷积层;

所述密集残差块包括一次残差密集连接层、二次残差密集连接层和三次残差密集连接层,所述每个残差密集连接层由三个核为 的卷积层和一个核为 的卷积层组成,所述每个残差密集连接层后均连接通道提取模块。

4.根据权利要求3所述多通道整合网络的多模态医学图像融合方法,其特征在于,所述将初始特征图分别输入至一次残差密集连接层、二次残差密集连接层和三次残差密集连接层进行特征提取处理,得到对应的特征图这一步骤,其具体包括:将初始特征图分别输入至一次残差密集连接层、二次残差密集连接层和三次残差密集连接层;

基于每个残差密集连接层的三个核为 的卷积层,使用密集连接,分别对初始特征图进行特征提取处理,得到第一特征提取图、第二特征提取图和第三特征提取图;

基于每个残差密集连接层的核为 的卷积层,将第一特征提取图、第二特征提取图和第三特征提取图进行融合处理,得到融合特征图;

将融合特征图分别与对应的初始特征图进行相加,输出对应的特征图。

5.根据权利要求4所述多通道整合网络的多模态医学图像融合方法,其特征在于,所述特征图的细粒度特征信息的特征提取公式为:上式中,表示输入特征图, 表示卷积层, 表示 级联卷积层,表示sobel梯度算子, 表示逐元素加法,表示GRDB模块的输出结果;

所述特征图的空间域信息的特征提取公式为:

上式中, 表示输入的特征图, 表示与 做逐元素相加输出的结果,表示sigmoid函数, 表示特征分支卷积层, 表示注意力分支卷积层,表示特征分支卷积层结果, 表示逐元素乘法;

所述特征图的通道信息的特征提取公式为:

上式中,和 分别表示特征图的长和宽, 表示对应 的频率分量的二维索引,表示整体的压缩向量,表示二维DCT频率分量, 表示多光谱通道注意力图, 表示频域分量, 表示pai,表示特征图的高,表示特征图的宽,表示特征图第 行,表示特征图第 列, 表示第 部分的压缩向量, 表示第 组特征图, 表示通道合并,表示全连接层。

6.根据权利要求5所述多通道整合网络的多模态医学图像融合方法,其特征在于,还包括根据待融合的多模态医学图像与融合后的多模态医学图像计算损失函数,其表达式为:上式中, 和 分别表示待融合的多模态医学图像 和融合后的多模态医学图像 的强度, 和 表示两个常量, 和 分别表示待融合的多模态医学图像 和融合后的多模态医学图像 的方差, 表示待融合的多模态医学图像 和融合后的多模态医学图像的协方差, 表示图像的空间频率,表示总损失函数, 表示结构相似性损失,表示空间频域损失。

7.多通道整合网络的多模态医学图像融合系统,其特征在于,用于执行如权利要求1所述多通道整合网络的多模态医学图像融合方法,包括以下模块:获取模块,用于获取待融合的多模态医学图像;

构建模块,用于引入密集残差块,构建多尺度多通道图像融合网络模型;

融合模块,用于将待融合的多模态医学图像输入至多尺度多通道图像融合网络模型进行融合处理,输出融合后的多模态医学图像。

8.一种终端设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述计算机程序包括如权利要求1‑6任一项所述的多通道整合网络的多模态医学图像融合方法。

9.一种计算机存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,所述计算机程序包括如权利要求1‑6任一项所述的多通道整合网络的多模态医学图像融合方法。