利索能及
我要发布
收藏
专利号: 2023105263498
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于自监督学习的高精度CT金属伪影校正方法,包括以下步骤:

S1构建自监督金属伪影校正网络模型,即耦合模型‑数据双驱动网络模型,所述网络模型包括基于Transformer的数据驱动正弦域子网络SS‑Net和基于紧标架的模型驱动的图像域子网络IM‑Net,IM‑Net中包含一个用于耦合两个子网络的先验伪影注意力阈值生成模块PATG;

S2训练网络:

S2.1准备数据集,用收集的无伪影正弦图s合成金属污染的正弦图sma,对其做滤波反投影操作得到无伪影CT图像x和金属污染CT图像xma,将CT图像和正弦图裁剪为设定的尺寸,并将其分为训练集和测试集,设定最大训练次数,初始化训练参数;

S2.2将金属污染的正弦图sma和金属迹trm做线性插值运算得到sLI,将sLI和金属迹trm输入到基于Transformer的数据驱动正弦域子网络,输出得到增强的正弦图sout,对sout做滤波反投影操作得到重建CT图像xout;

S2.3计算正弦域子网络损失,若未达到正弦域网络最大训练次数,则重复步骤S2.2,更新网络参数,训练结束得到正弦域网络的最优网络模型;

S2.4向训练好的正弦域子网络模型中输入sma和trm,网络输出xout,并将xout与金属伪影污染CT图像xma逐元素减得到正弦域金属伪影信息es,同时利用线性插值和光束硬化方法得到校正后的图像,从两者的校正图像中提取金属伪影eLI和eBHC,将金属伪影es、eBHC、eLI、xma及非金属掩模m输入到基于紧标架的模型驱动的图像域子网络IM‑Net中,输出得到伪影减少的CT图像;

S2.5计算图像域损失,若未达到最大训练次数,则重复步骤2.4,更新网络参数;

S3向构建好的图像域最优网络模型中输入es、eBHC、eLI、xma和m,网络输出为金属伪影校正后CT图像。

2.根据权利要求1所述的一种基于自监督学习的高精度CT金属伪影校正方法,其特征在于,所述步骤(1)构建自监督学习金属校正网络:具体包括如下过程:构建模型驱动网络、数据驱动网络和耦合机制;所述模型驱动网络即基于紧标架的模型驱动图像域子网络:建立金属伪影分解模型,基于紧标架表示模型构建紧标架学习模型,利用交替方向乘子法将该问题转化为易于求解的子问题,并采用近端梯度技术进行问题求解,然后,将迭代算法的每个运算符转换为相应的网络模块,展开成深度神经网络架构来构建模型驱动金属伪影校正网络;所述数据驱动网络即基于Transformer的数据驱动正弦域子网络:在基于Transformer的数据驱动正弦域网络中提出了一个迹感知的Transformer正弦域网络,利用非金属迹去指导Transformer中的多头自注意力机制,从而保证网络学习中不会利用正弦图中金属污染严重的区域;所述耦合机制:由一个被称为先验伪影注意力阈值生成模块PATG实现,其中的伪影注意力模块通过利用输入的金属伪影之间的相互关系,自适应的重新为每个金属伪影的权重重新赋值。

3.根据权利要求2所述的一种基于自监督学习的高精度CT金属伪影校正方法,其特征在于:基于Transformer的数据驱动正弦域子网络SS‑Net由一个基于Transformer的迹感知的网络Tr‑AwareNet和两个具有相同U‑Net架构的正弦图细化网络SinoNet组成,两个相同的SinoNet构成一个双分支结构;正弦域子网络的输入是合成的金属污染正弦图sma和金属迹trm,给定金属污染正弦图sma,对其进行线性插值得到sLI,然后输入到Tr‑AwareNet中,在Tr‑AwareNet的输入和输出之间设置了残差连接,得到输出结果sprior,将sprior分别与两个不同的金属迹通道拼接,输入到由SinoNet构成的两个不同的分支中,分别得到两个细化的正弦图,之后分别对它们采用FBP得到重建CT图像xrec1和xrec2。

4.根据权利要求3所述的一种基于自监督学习的高精度CT金属伪影校正方法,其特征在于:Tr‑AwareNet由三部分组成:编码器、双分支模块和解码器,输入正弦图sLI经过编码器后得到中间特征fm,fm被分别输入到远程分支和短程分支中得到输出fl和fs,将fl和fs进行融合得到ffuse,即取远程分支的金属迹部分,取短程分支的非金属迹部分,然后,将ffuse送入到解码器中得到最终的输出flast,残差连接可以表示为sprior=flast+sLI,得到最终的输出结果sprior。

5.根据权利要求4所述的一种基于自监督学习的高精度CT金属伪影校正方法,其特征在于:远程分支是Tr‑AwareNet的核心,主要由两个模块组成:迹感知的多头自注意力Tr‑Aware MSA模块和全连接的前馈网络FFN,特征向量fm对应的矩阵形式 将F分成d个特征块 这d个特征块可以覆盖整个特征图F,把这d个特征块展成一维特征Fin=[F1,...,Fd],并将其按照标准多头自注意力方法求得Q、K和V,此过程可以表示为:其中LN(·)代表层归一化, 和 代表Transformer中第h个头的投影矩阵,将Q、K和V输入到Tr‑Aware MSA模块中,输出可以被表示为:

其中MSA(·)代表Tr‑Aware MSA网络步骤,接下来,将 输入到FFN网络中,输出可以被表示为:其中输出Fout=[F1′,...,F′d]能被融合成特征矩阵Fl,其对应的向量形式为fl。

6.根据权利要求5所述的一种基于自监督学习的高精度CT金属伪影校正方法,其特征在于:Tr‑Aware MSA的具体步骤:首先对金属迹的trm的矩阵形式Trm操作求得非金属迹,即Trn=1‑Trm,为了与特征F的大小一致,对Trn调整大小并归一化,得到Tr′n,其对应的向量形式为tr′n,然后,同样对Tr′n分成d个块,计算每个块中元素的平均值并把这些堆叠成一个向量 再对u做阈值处理,如下:其中ρ是阈值,接下来,堆叠d个u得到矩阵U′,假设Tr‑Aware MSA有H个头,第h个头的自注意力计算可以被表示为:其中 被用来归一化,σ是一个很小的负值,全部的头输出被通道拼接,并且被线性投影来产生最终的输出,这个过程能被表示为:A

MultiHead(Q′,K′,V′)=Concat(head1,...,headh)Z (6)A

其中headh=Attention(Qh,Kh,Vh),Z是投影矩阵,Q′、K′和V′分别是它们对应所有头的通道拼接。

7.根据权利要求1所述的一种基于自监督学习的高精度CT金属伪影校正方法,其特征在于:优化基于Transformer的数据驱动正弦域子网络,引入损失函数,包括正弦域损失、重建损失和FBP一致性损失,具体形式如下:其中 是正弦域损失函数, 和 是重建损失, 是FBP一致性损失,sprior代表Tr‑AwareNet网络的输出, 代表FBP操作,xrec1和xrec2分别是两个分支对应的FBP重建结果,γ1和γ2是平衡不同损失项的权重参数。

8.根据权利要求2所述的一种基于自监督学习的高精度CT金属伪影校正方法,其特征在于:基于紧标架的模型驱动图像域子网络IM‑Net的构建:一个金属污染的CT图像可以被划分为两部分:非金属部分和金属部分,目标是保留非金属部分,同时去除金属部分,金属伪影分解模型可以被构建如下:m⊙y=m⊙x+m⊙e (12)

其中m是非金属掩模、x代表无金属伪影CT图像、e代表金属伪影、⊙代表逐元素相乘;为了从y中估计x和e,通过使用正则化器来利用x和e的先验知识构建优化模型;针对金属伪影部分,利用紧标架 来刻画金属伪影的结构信息,优化模型可以被表示为:其中第一项是用来提升分解准确性的数据保真项、第二项和第三项是正则化项,为了求解该优化模型,利用近端梯度算子来交替更新x和e,在第(t+1)次迭代,x和e的更新能被表示如下:(t)

在第(t+1)次迭代,更新CT图像:给定金属伪影减少的CT图像x 和估计的金属伪影e(t),通过计算式(13)中定义的优化模型的二次逼近,x能被迭代更新如下:

其中 η1是步长,x的更新规则能被表示为:

其中 是与先验项R1(·)有关的近端算子,

(t+1) (t)

在第(t+1)次迭代,更新金属伪影:给定x 和e ,通过计算式(13)中定义的优化模型的二次逼近,e能被迭代更新:其中 η2是步长,相似于x,e的更新规则:

因为W满足紧性质 上式可以被重写为:

(t+1) T (t+0.5)

e =Wsoft(We ,ε) (18)

(t+0.5)

其中soft(μ,ε)=sign(μ)max(|μ|‑ε,0)是一个软阈值函数,相似于图像的更新,e(t) (t+1)=(1‑η2m)⊙e +η2m⊙(y‑x )。在本发明中,利用一个提出的先验伪影注意力阈值生成模块产生阈值ε。

9.根据权利要求2所述的基于自监督学习的高精度CT金属伪影校正方法,其特征在于:所述基于紧标架的模型驱动图像域子网络的网络结构设计包括X‑Net和E‑Net,所述X‑Net:(t) (t) (t+0.5)

在第(t+1)次阶段,利用x 和e 得到x ,然后送入 网络中来实现

(t+1) (t+0.5)

算子,得到输出x ;网络 是残差卷积结构;所述E‑Net:相似于x,e 被输(t+1)

入 中,用以实现 算子,得到输出e , 是一个紧标架过

程;所述PATG位于E‑Net中,由注意力机制和卷积层组成,该模块的输入是一个四通道的金(t+0.5)属伪影,其中包含网络迭代产生的e 、线性插值法提取的伪影eLI、光束硬化校正法提取的伪影eBHC和正弦域网络提取的伪影es。

10.根据权利要求4所述的基于自监督学习的高精度CT金属伪影校正方法,其特征在于:训练基于紧标架的模型驱动的图像域子网络IM‑Net的损失函数如下:其中x是s的FBP操作的输出结果,w1、w2、w3和w4是平衡不同损失项的权重参数。