利索能及
我要发布
收藏
专利号: 2023109250162
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于特征聚合分解的多模态医学图像融合方法,其特征在于,所述基于特征聚合分解的多模态医学图像融合方法,包括:构建特征聚合网络和分解反馈网络,所述特征聚合网络包括编码器、全局特征提取模块、局部特征提取模块和解码器;

取源图像和初始分解图像拼接构成训练集;

将拼接后的图像输入至所述特征聚合网络中,所述特征聚合网络通过编码器提取浅层特征,并将所述浅层特征分别输入至全局特征提取模块和局部特征提取模块中得到全局特征和局部特征,叠加所述全局特征和局部特征后输入至解码器,由解码器重建输出融合图像;

将所述融合图像输入至所述分解反馈网络中,得到两个分解图像;

基于源图像、融合图像和分解图像计算总损失,并根据总损失对所述特征聚合网络和分解反馈网络进行更新,若满足迭代训练结束条件,则输出特征聚合网络和分解反馈网络用于多模态医学图像融合;否则将源图像和分解图像拼接构成新的训练集继续进行迭代训练;

其中,所述全局特征提取模块包括三条路径,三条路径输出的多尺度特征进行像素级融合得到全局特征;

第一条路径包括依次连接的自适应卷积层、Swin Transformer块和自适应卷积层,第二条路径包括依次连接的自适应卷积层、自适应卷积层、Swin Transformer块和自适应卷积层,第三条路径包括依次连接的自适应卷积层、自适应卷积层、自适应卷积层、Swin Transformer块和自适应卷积层;

其中,所述局部特征提取模块包括依次连接的三个3×3卷积层和一个1×1卷积层;

第一个3×3卷积层的输入为浅层特征和源图像,第二个3×3卷积层的输入为浅层特征、源图像以及第一个3×3卷积层的输出,第三个3×3卷积层的输入为浅层特征、源图像、第一个3×3卷积层的输出和第二个3×3卷积层的输出,所述1×1卷积层的输入为浅层特征、第一个3×3卷积层的输出、第二个3×3卷积层的输出和第三个3×3卷积层的输出。

2.如权利要求1所述的基于特征聚合分解的多模态医学图像融合方法,其特征在于,所述编码器由一个自适应卷积层、一个批量归一化层和一个ReLU激活函数构成。

3.如权利要求1所述的基于特征聚合分解的多模态医学图像融合方法,其特征在于,所述取源图像和初始分解图像拼接构成训练集,包括:采集PET‑MRI图像对作为源图像,其中PET是RGB彩色图像,MRI是灰度图像;

将所述RGB彩色图像转换至YUV颜色空间,取转换后图像Y通道的 图像和灰度图像进行配对;

取初始分解图像为源图像的复制,即初始分解图像为配对后的 图像和灰度图像,对源图像和初始分解图像进行通道级联,得到四通道的输入特征样本IMRI为灰度图像。

4.如权利要求1所述的基于特征聚合分解的多模态医学图像融合方法,其特征在于,所述分解反馈网络包括一个1×1卷积层以及与所述1×1卷积层连接的两个分支,两个分支不共享参数,其中第一个分支包括三个依次连接的3×3卷积层,第二个分支包括三个依次连接的3×3卷积层。

5.如权利要求1所述的基于特征聚合分解的多模态医学图像融合方法,其特征在于,所述基于源图像、融合图像和分解图像计算总损失,包括:根据所述源图像和融合图像计算特征聚合损失,根据所述源图像和分解图像计算分解反馈损失,对特征聚合损失和分解反馈损失求和得到总损失。

6.如权利要求5所述的基于特征聚合分解的多模态医学图像融合方法,其特征在于,所述根据所述源图像和融合图像计算特征聚合损失,包括:所述特征聚合损失LFA由结构相似性损失LSSIM和区域互信息损失LRMI组成:LFA=LSSIM+LRMI

所述结构相似性损失LSSIM是结构级约束,其数学式表达为:

LSSIM=β1·(1‑SSIM(If,I1))+β2·(1‑SSIM(If,I2))式中,β1和β2是权衡参数,If表示融合图像,I1和I2表示源图像,SSIM(.)表示求结构相似性指数操作,具体定义为:式中,Is表示源图像,具体为I1或I2, 和 分别是源图像和融合图像的像素平均值,和 分别是源图像和融合图像的像素方差, 是源图像和融合图像的像素协方差,C1和C2是常数;

所述区域互信息损失LRMI是区域级约束,其数学式表达为:

LRMI=γ1·RMI(If,I1)+γ2·RMI(If,I2)式中,γ1和γ2是权衡参数,RMI(·)是计算融合图像和源图像的区域互信息操作,具体定义为:式中,λ是权重参数,λ∈[0,1], 表示计算融合图像和源图像之间的标准交叉熵损失,B表示批量大小, 表示求小批量中批量索引b对应的融合图像和源图像的互信息下界。

7.如权利要求5所述的基于特征聚合分解的多模态医学图像融合方法,其特征在于,所述根据所述源图像和分解图像计算分解反馈损失,包括:所述分解反馈损失LDF包括强度损失Lint和梯度损失Lgrad,数学式表达为:LDF=Lint+Lgrad

所述强度损失Lint的定义为:

式中,H和W表示源图像或分解图像的图像高宽,i和j表示第i行第j列, 表示分解图像Ide1中第i行第j列的像素值, 表示分解图像Ide2中第i行第j列的像素值, 表示源图像I1中第i行第j列的像素值, 表示源图像I2中第i行第j列的像素值;

所述梯度损失Lgrad的定义为:

式中, 表示求梯度操作。