利索能及
我要发布
收藏
专利号: 2024107471381
申请人: 佛山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于条件扩散概率模型的多模态图像融合与超分辨率方法,其特征在于,包括步骤:A1.获取多组用于训练的源图像;每组所述源图像包括配准的第一模态图像和第二模态图像;

A2.对各组所述源图像进行模糊处理和融合处理,得到对应的模糊第一模态图像、模糊第二模态图像和真值融合图像;

A3.构建条件扩散概率模型,并利用各组所述源图像对应的所述模糊第一模态图像、所述模糊第二模态图像和所述真值融合图像训练所述条件扩散概率模型,得到训练好的条件扩散概率模型;所述条件扩散概率模型包括多模态信息融合模块(1)和迭代去噪模块(2);

A4.利用所述训练好的条件扩散概率模型对配准的待融合第一模态图像和待融合第二模态图像进行融合;

所述第一模态图像和所述待融合第一模态图像为可见光图像,所述第二模态图像和所述待融合第二模态图像为红外图像;

所述多模态信息融合模块(1)包括一个第一二维卷积层,所述第一二维卷积层的卷积核大小为3×3,步长为1;

所述迭代去噪模块(2)包括依次连接的下采样模块(3)、中间模块(4)、上采样模块(5)和第一子模块;

所述下采样模块(3)包括若干个第一残差模块(6)、若干个第二残差模块(7)、若干个第三残差模块(8)、若干个第四残差模块(9)以及若干个下采样卷积块(10);所述中间模块(4)包括若干个第一残差模块(6)和若干个第二残差模块(7);所述上采样模块(5)包括若干个第三残差模块(8)、若干个第四残差模块(9)以及若干个上采样卷积块(11);所述下采样模块(3)和所述上采样模块(5)组成U‑Net结构;

所述第一残差模块(6)包括依次连接的第一子模块、特征维度细化层和第二子模块,还包括第一Identity激活函数层,在所述第一残差模块(6)中,所述第一Identity激活函数层的输入端与所述第一子模块的输入端连接,所述第一Identity激活函数层的输出与所述第二子模块的输出相加作为所述第一残差模块(6)的输出;

所述第二残差模块(7)包括依次连接的第一残差模块(6)和自注意力模块;

所述第三残差模块(8)包括依次连接的第一子模块、特征维度细化层和第二子模块,还包括第二二维卷积层,在所述第三残差模块(8)中,所述第二二维卷积层的输入端与所述第一子模块的输入端连接,所述第二二维卷积层的输出与所述第二子模块的输出相加作为所述第三残差模块(8)的输出;

所述第四残差模块(9)包括依次连接的第三残差模块(8)和自注意力模块;

所述第一子模块包括依次连接的GroupNorm归一化函数层、Swish激活函数层、第二Identity激活函数层和第三二维卷积层;

所述第二子模块包括依次连接的GroupNorm归一化函数层、Swish激活函数层、Dropout正则化函数层和第三二维卷积层;

下采样模块(3)包括六个第一残差模块(6)、一个第二残差模块(7)、两个第三残差模块(8)、一个第四残差模块(9)以及四个下采样卷积块(10),这些模块按照以下顺序从前到后依次连接:第一残差模块(6)、第一残差模块(6)、下采样卷积块(10)、第三残差模块(8)、第一残差模块(6)、下采样卷积块(10)、第三残差模块(8)、第一残差模块(6)、下采样卷积块(10)、第四残差模块(9)、第二残差模块(7)、下采样卷积块(10)、第一残差模块(6)、第一残差模块(6);

中间模块(4)包括一个第二残差模块(7)和一个第一残差模块(6),这些模块按照以下顺序从前到后依次连接:第二残差模块(7)、第一残差模块(6);

上采样模块(5)包括十一个第三残差模块(8)、三个第四残差模块(9)以及四个上采样卷积块(11),按照以下顺序从前到后依次连接:第三残差模块(8)、第三残差模块(8)、第三残差模块(8)、上采样卷积块(11)、第四残差模块(9)、第四残差模块(9)、第四残差模块(9)、上采样卷积块(11)、第三残差模块(8)、第三残差模块(8)、第三残差模块(8)、上采样卷积块(11)、第三残差模块(8)、第三残差模块(8)、第三残差模块(8)、上采样卷积块(11)、第三残差模块(8)、第三残差模块(8);

从前到后对下采样模块(3)中的各模块进行排序,并从前到后对上采样模块(5)中除上采样卷积块(11)以外的模块进行排序,下采样模块(3)中的第i个模块与上采样模块(5)中除上采样卷积块(11)以外的第15‑i个模块跳跃连接,i=1,2,…,14;

所述下采样卷积块(10)为卷积核大小为3×3、步长为2的二维卷积层;

所述上采样卷积块(11)为卷积核大小为3×3,步长为1的二维卷积层。

2.根据权利要求1所述的基于条件扩散概率模型的多模态图像融合与超分辨率方法,其特征在于,步骤A2中,对各组所述源图像进行模糊处理包括:对所述第一模态图像和所述第二模态图像进行下采样,得到对应的第一降分辨率图像和第二降分辨率图像;

对所述第一降分辨率图像和所述第二降分辨率图像进行上采样,得到对应的模糊第一模态图像和模糊第二模态图像;所述模糊第一模态图像的像素尺寸与对应的所述第一模态图像的像素尺寸相同,所述模糊第二模态图像的像素尺寸与对应的所述第二模态图像的像素尺寸相同。

3.根据权利要求1所述的基于条件扩散概率模型的多模态图像融合与超分辨率方法,其特征在于,步骤A2中,对各组所述源图像进行融合处理包括:利用预设的图像融合算法,对同一组所述源图像中的第一模态图像和所述第二模态图像进行融合,得到对应的所述真值融合图像。

4.根据权利要求1所述的基于条件扩散概率模型的多模态图像融合与超分辨率方法,其特征在于,步骤A3中,利用各组所述源图像对应的所述模糊第一模态图像、所述模糊第二模态图像和所述真值融合图像训练所述条件扩散概率模型,得到训练好的条件扩散概率模型,包括:A301.使用各组所述源图像对应的所述模糊第一模态图像、所述模糊第二模态图像和所述真值融合图像对所述条件扩散概率模型进行迭代加噪声的前向扩散过程和反向传播过程训练,获取对应的预测噪声;

A302.根据迭代添加的噪声和所述预测噪声计算损失函数,并根据所述损失函数更新所述条件扩散概率模型的模型参数;

A303.重复步骤A301和步骤A302直到所述损失函数收敛。

5.根据权利要求4所述的基于条件扩散概率模型的多模态图像融合与超分辨率方法,其特征在于,步骤A302中,根据以下公式计算损失函数:;

其中, 为损失函数, 为所述真值融合图像,x为所述模糊第一模态图像,y为所

述模糊第二模态图像, 为高斯噪声, 为噪声方差, 为噪声预测器函数, 和

均为期望函数。

6.根据权利要求1所述的基于条件扩散概率模型的多模态图像融合与超分辨率方法,其特征在于,步骤A4包括:把配准的待融合第一模态图像和待融合第二模态图像输入所述训练好的条件扩散概率模型,由所述训练好的条件扩散概率模型进行高斯噪声初始化后,基于初始化的高斯噪声,按照逆向扩散过程迭代去噪得到最终融合图像。