1.一种基于维度分解注意力的两阶段三维图像分割方法,其特征在于,使用两阶段策略与维度分解注意力对三维图像进行分割;所述方法包括如下步骤:步骤S1:对输入图像进行预处理与粗分割,以通过裁剪来得到感兴趣区域;
步骤S2:将得到的感兴趣区域进行下采样获得深度特征,将所述深度特征送入维度分解空间注意力,以获得空间权重;
步骤S3:将深度特征送入维度分解通道注意力,以获得通道权重;
步骤S4:将深度特征与空间权重和通道权重连乘,得到最终特征,并将最终特征送入上采样网络得到分割结果;
其中,所述将所述深度特征送入维度分解空间注意力,以获得空间权重包括:所述维度分解空间注意力首先将输入的深度特征通过池化操作生成空间特征X;空间特征X通过三个大小分别为(H,1,1)、(1,W,1)和(1,1,D)的池化核分解为三个一维方向特征H W DO、O和O,其中H、W及D分别为三维图像的高宽深;
将得到的三个一维方向特征按照先H、W后D的顺序融合,生成空间权重,包括:先将高度H W方向特征O与宽度方向特征O通过扩张操作统一到(H,W,1)大小,然后通过一个卷积核大小为3×3×3的三维卷积操作,融合高度方向和宽度方向的特征,得到横向中间特征f1,如公H W式f1=δ1(F1([t(O),t(O)]))所示,其中[,]代表沿通道进行连接,t代表扩张操作,δ1为非D线性激活函数Relu;接着将横向中间特征f1与深度方向特征O通过扩张操作统一到(H,W,D)大小,同样通过一个卷积核大小为3×3×3的三维卷积进行融合,经过激活函数Sigmoid得D到空间权重Fs,其中空间权重Fs=δ2(F2([t(f1),t(O )])),其中δ2为非线性激活函数Sigmoid;
其中,所述将深度特征送入维度分解通道注意力,以获得通道权重包括:所述维度分解通道注意力首先将输入的深度特征通过池化操作生成空间特征X;空间特征X通过三个大小H W D分别为(H,1,1)、(1,W,1)和(1,1,D)的池化核分解为三个一维方向特征O 、O和O ,其中H、W及D分别为三维图像的高宽深;
将输入的深度特征通过池化操作与卷积操作生成通道特征fc,其中通道特征fc=δ3(F3(avg(X))),其中X为输入的深度特征,avg代表全局平均池化操作,F3为卷积核大小为1×1
3c×1×1×1
×1的三维卷积,δ3为非线性激活函数Relu,fc∈R 为得到的维度通道特征集合;
H W D
得到的维度通道特征集合分裂为三个中间特征后与一维方向特征O 、O 和O 分别按通道连接,送入一个卷积核大小为1×1×1的三维卷积进行融合,得到H、W、D三个维度通道特c×1×1×1 H征,其中H维度上的特征fH∈R 由公式fH=δH(FH([O ,s(fc)]))得到,其中[,]代表沿通道维度进行拼接,s为分裂操作,FH为1×1×1卷积,δH为非线性激活函数Relu;
W D
W维度和D维度的特征由公式fW=δW(FW([O ,s(fc)]))和fD=δD(FD([O ,s(fc)]))得到;
得到的三个维度通道特征按通道连接后,通过公式Fc=δ4(F4([fH,fW,fZ]))生成最终的通道权重Fc,其中F4为卷积核大小为1×1×1的三维卷积,δ4为非线性激活函数Sigmoid。
2.根据权利要求1所述的两阶段三维图像分割方法,其特征在于,所述对输入图像进行预处理与粗分割,以通过裁剪来得到感兴趣区域包括:将输入图像裁剪并重新调整到统一尺寸,去除图像边缘信息的影响;
将统一尺寸的预处理图像送入粗分割网络,获得粗分割结果;以及对粗分割结果进行腐蚀操作与最大连通区域定位操作,使用固定大小的矩形块对原图与真实标签进行裁剪,获得感兴趣区域。
3.根据权利要求1所述的两阶段三维图像分割方法,其特征在于,在将得到的感兴趣区域进行下采样获得深度特征之后,还包括将获得的深度特征送入维度分解空间注意力模块生成空间特征。
4.根据权利要求1所述的两阶段三维图像分割方法,其特征在于,所述将深度特征与空间权重和通道权重连乘,得到最终特征,并将最终特征送入上采样网络得到分割结果包括:将深度特征F、空间权重Fs和通道权重Fc按公式Ff=F×Fs×Fc融合,得到最终特征,并将最终特征送入上采样网络得到分割结果。
5.一种基于维度分解注意力的两阶段三维图像分割系统,其特征在于,使用两阶段策略与维度分解注意力对三维图像进行分割;所述系统包括:裁剪装置,用于对输入图像进行预处理与粗分割,以通过裁剪来得到感兴趣区域;
采样装置,用于将得到的感兴趣区域进行下采样获得深度特征,将所述深度特征送入维度分解空间注意力,以获得空间权重;
获得装置,用于将深度特征送入维度分解通道注意力,以获得通道权重;
分割装置,用于将深度特征与空间权重和通道权重连乘,得到最终特征,并将最终特征送入上采样网络得到分割结果;
其中,将所述深度特征送入维度分解空间注意力,以获得空间权重包括:所述维度分解空间注意力首先将输入的深度特征通过池化操作生成空间特征X;空间特征X通过三个大小分别为(H,1,1)、(1,W,1)和(1,1,D)的池化核分解为三个一维方向特征H W DO、O和O,其中H、W及D分别为三维图像的高宽深;
将得到的三个一维方向特征按照先H、W后D的顺序融合,生成空间权重,包括:先将高度H W方向特征O与宽度方向特征O通过扩张操作统一到(H,W,1)大小,然后通过一个卷积核大小为3×3×3的三维卷积操作,融合高度方向和宽度方向的特征,得到横向中间特征f1,如公H W式f1=δ1(F1([t(O),t(O)]))所示,其中[,]代表沿通道进行连接,t代表扩张操作,δ1为非D线性激活函数Relu;接着将横向中间特征f1与深度方向特征O通过扩张操作统一到(H,W,D)大小,同样通过一个卷积核大小为3×3×3的三维卷积进行融合,经过激活函数Sigmoid得D到空间权重Fs,其中空间权重Fs=δ2(F2([t(f1),t(O )])),其中δ2为非线性激活函数Sigmoid;
其中,所述将深度特征送入维度分解通道注意力,以获得通道权重包括:所述维度分解通道注意力首先将输入的深度特征通过池化操作生成空间特征X;空间特征X通过三个大小H W D分别为(H,1,1)、(1,W,1)和(1,1,D)的池化核分解为三个一维方向特征O 、O和O ,其中H、W及D分别为三维图像的高宽深;
将输入的深度特征通过池化操作与卷积操作生成通道特征fc,其中通道特征fc=δ3(F3(avg(X))),其中X为输入的深度特征,avg代表全局平均池化操作,F3为卷积核大小为1×1
3c×1×1×1
×1的三维卷积,δ3为非线性激活函数Relu,fc∈R 为得到的维度通道特征集合;
H W D
得到的维度通道特征集合分裂为三个中间特征后与一维方向特征O 、O 和O 分别按通道连接,送入一个卷积核大小为1×1×1的三维卷积进行融合,得到H、W、D三个维度通道特c×1×1×1 H征,其中H维度上的特征fH∈R 由公式fH=δH(FH([O ,s(fc)]))得到,其中[,]代表沿通道维度进行拼接,s为分裂操作,FH为1×1×1卷积,δH为非线性激活函数Relu;
W D
W维度和D维度的特征由公式fW=δW(FW([O ,s(fc)]))和fD=δD(FD([O ,s(fc)]))得到;
得到的三个维度通道特征按通道连接后,通过公式Fc=δ4(F4([fH,fW,fZ]))生成最终的通道权重Fc,其中F4为卷积核大小为1×1×1的三维卷积,δ4为非线性激活函数Sigmoid。