利索能及
我要发布
收藏
专利号: 2021114170050
申请人: 广东工业大学
专利类型:发明专利
专利状态:授权未缴费
更新日期:2024-11-11
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种三维肝胆管图像分割算法,其特征在于,包括以下步骤:

S1:构建残差网络ResNet‑3D来处理输入图像序列,得到输入图像序列的残差网络ResNet‑3D低层特征和高层特征,具体过程是:

1)将尺寸为(1,1,d,512,512)的CT序列,通过分patch操作分成(1,48,192,192)的多个小特征块,并作为残差网络的输入,d表示切片数量,不同序列d会不同,不同序列的d均大于

48;

2)首先,通过一个单一尺度为64的三维卷积层后,得到第一层特征E0;

3)然后经过一个尺度为192的三层残差模块ResBlock‑3D,得到第二层特征E1;

4)然后经过一个尺度为384的三层残差模块ResBlock‑3D,得到第三层特征E2;

5)最后经过一个尺度为384的两层残差模块ResBlock‑3D,得到第四层特征E3;

S2:构建多尺度注意力网络,来学习步骤S1中得到的低层特征和高层特征之间的关联性,具体过程是:利用3D Swin Transformer block搭建多尺度注意力网络,每个Transformer block由一个基于滑动窗口的W‑MSA模块和一个前馈网络FFN组成,其中前馈网络FFN由两层的多头注意力处理模块MLP和激活函数GELU组成;层标准化LN被用在每个基于滑动窗口的W‑MSA模块和前馈网络FFN之前,残差连接被用在了每个模块之后:l

式子中 和z 分别表示基于滑动窗口的W‑MSA模块和FFN模块的输出特征;3DW‑MSA和

3DSW‑MSA分别表示使用常规和移位窗口分区配置的基于3D窗口的多头自注意力;

由于自注意力计算中使用了相对位置编码,注意力的计算方式如下:

其中 是查询、键和值矩阵,d是查询和关键特征的维度;

多尺度注意力MAST模块,计算过程如下,

Snx,Snx′=Reshape(MAST(Flatten(Enx),Flatten(Enx′)))Enx,Enx′表示的是残差模块输出的特征,Snx,Snx′表示经过注意力模块后的输出,式子中,n的取值范围为0到3,x,x′的取值分别为0和1;处理过程,先将特征展平,然后拼接输入注意力模块,再将注意力模块的输出特征矩阵恢复为原来的尺寸,得到Snx,Snx′;

S3:构建特征解码网络,将经过步骤S2处理后的低层特征和高层特图进行融合,具体过程是:利用步骤S2中多尺度注意力网络输出的Snx,Snx′作为输入,n相同时代表的是同一个尺度即尺寸相同的特征,这个两个特征来自不同的特征层,将其相加,得到一个同尺度的Dn,计算过程如下:Dn=Snx+Snx′

式子中,n的取值范围是0到3,而x,x′的取值分别为0和1,用于区分同一个尺度特征的两个不同来源的输出;

S4:构建损失函数,对步骤S3得到的结果进行处理得到最终分割结果,具体过程是:构建损失函数Lhep如下:

其中A是手动标注的标签和B是网络学习结果;第一项学习预测结果和标签的相似性,第二项为偏置项,用于学习胆管的边缘信息;偏置项通过使用区域之间边界上的积分将形状或轮廓空间上的非对称距离最小化,并采用轮廓空间或区域边界中距离度量的形式,Ω表示由网络学习的区域与真实分割区域的边界所围成的面积;φA:Ω→R表示手动标注的标签区域A的边界,bθ(q)是网络的softmax概率输出;训练时,超参数会进行调整,在最开始的一段时间,令α=1.0,用于学习到相似性更高的区域B,并在若干个周期后,调整超参数的大小,通过自动化设计,在每个时期的末尾线性减小α=(α*0.01)。

2.根据权利要求1所述的三维肝胆管图像分割算法,其特征在于,所述步骤S3中,由于低层特征分辨率更高,包含更多位置、细节信息,但是经过的卷积更少,其语义性更低,噪声更多,而高层特征具有更强的语义信息,但是分辨率很低,对细节的感知能力较差,为此,将特征Dn进行上采样得到Un,而Un特征尺度与Dn‑1相同,将两者相加后,输入下一个上采样层,重复该步骤,直至n为1;此时将在经过上采样后,将低层的特征和高层的特征进行融合可以提取各层的长处从而提升分割的性能;最后经过一个全卷积层,输出分割结果。

3.根据权利要求2所述的三维肝胆管图像分割算法,其特征在于,为了避免结果发散,最小的α为0.33。

4.一种利用权利要求1所述的三维肝胆管图像分割算法的三维肝胆管图像分割系统,其特征在于,包括:构建残差网络ResNet‑3D模块,用于处理输入图像序列,获取输入图像序列的残差网络ResNet‑3D低层特征和高层特征;

多尺度注意力网络模块,用于来学习低层特征和高层特征之间的关联性;

特征解码网络模块,将经过多尺度注意力网络模块处理后的低层特征和高层特图进行融合;

构建损失函数模块,对特征解码网络模块的输出进行处理得到最终分割结果。