欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2021114069233
申请人: 广东工业大学
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2024-09-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种肝静脉及肝门静脉的深度学习分割系统,其特征在于,包括:编码模块,用于获得CT序列特征;

序列注意力关联融合模块SACM,用于关联融合单张CT图像不同维度信息;

片间‑图关联模块,用于捕获相邻CT序列之间关联性;

解码模块,用于将序列注意力关联融合模块SACM以及片间‑图关联模块的输出进行加强特征提取和融合。

2.根据权利要求1所述的肝静脉及肝门静脉的深度学习分割系统,其特征在于,所述编码模块的处理过程是:

CT序列图像输入编码模块后,先经过两次卷积获得CT序列的特征fl1,然后经过一层池化,两层卷积获得fl2,接着经过三次的一层池化和三层卷积,分别获得CT序列的特征fl3,fl4,fl5。

3.根据权利要求2所述的肝静脉及肝门静脉的深度学习分割系统,其特征在于,所述序列注意力关联融合模块的处理过程是:序列注意力关联融合模块SACM包括一个子模块‑序列特征关联模块SFCM,序列注意力关联融合模块SACM用下述公式表示:其中,fl表示CT序列的低维度特征,fh表示CT序列的高维度特征,σ2为sigmoid函数,表示对应元素相加,⊙表示对应元素相乘,concat(·)为Concatenation操作,则在序列注意力关联融合模块中将CT序列的高维度特征fh与低维度特征fl分别进行1×1卷积,对应相加得到的初步融合特征,作为子模块‑序列特征关联模块SFCM的输入。

4.根据权利要求3所述的肝静脉及肝门静脉的深度学习分割系统,其特征在于,序列特征关联模块SFCM,包括局部注意力关联模块和全局注意力关联模块两个部分;

局部注意力关联模块关注CT序列的局部特征信息,并在局部上利用相邻CT间关联突出细小血管细节;将大小为C×H×W的CT序列初步融合特征先后输入到1×1卷积和激活函数ReLU中,再进行1×1卷积,在通道上压缩特征,得到1×H×W的特征,然后经过Sigmoid函数,得到CT序列的局部注意力特征矩阵I1,I2,I3,…,In,n为输入的CT序列中CT的数量,由于相邻CT序列图像在语义,外观上具有关联性,考虑根据相邻CT序列的局部注意力特征矩阵的相似度Wi进行加权求和,得到加强的局部注意力特征矩阵I1',I2',I3',…,In',T

Ii'=Wi[I1,I2,I3,…,In] i∈(1,n)分别与对应的初步融合特征相乘,在局部上利用相邻CT间关联突出细小血管细节。

5.根据权利要求4所述的肝静脉及肝门静脉的深度学习分割系统,其特征在于,全局注意力关联模块关注全局特征信息,并在全局上利用相邻CT间关联突出细小血管细节,将CT序列的初步融合特征分别输入全局平均池化Global average pooling和全局最大池化Global max pooling,分别得到C×1×1大小的特征信息,再基于通道进行拼接,然后进行1×1卷积,并输入Sigmoid函数,得到CT序列的全局注意力特征矩阵A1,A2,A3,…,An,同样考虑相邻CT具有关联性,根据相邻CT序列的全局注意力特征矩阵的相似度Gi进行加权求和,得到加强的局部注意力特征矩阵A1',A2',A3',…,An',T

Ai'=Gi[A1,A2,A3,…,An] i∈(1,n)分别与对应的初步融合特征相乘,在全局上利用相邻CT间关联突出细小血管细节;最后,将基于局部注意力融合特征和基于全局注意力融合特征相加,得到关联融合不同维度的序列特征,提高细微血管分割精准度。

6.根据权利要求5所述的肝静脉及肝门静脉的深度学习分割系统,其特征在于,所述片间‑图关联模块的处理过程是:

将编码模块输出的CT序列特征,分离成多个CT特征,构建一个完全连通图,以单个CT特征表示为节点,以CT序列特征之间的关系表示为边;片间‑图关联模块的输入为序列节点

0 0 0 t t

[v1,v2,…,vn]的特征向量[h1 ,h2 ,…,hn],输出为每个节点新的特征向量[h1 ,h2 ,…,t

hn];

节点vi到节点vj的边eij可表示为:eij=a(W*hi,W*hj)

a(·)为计算节点相关度的函数,定义为带参数神经网络,W为特征变换权重参数;基于注意力机制设计节点之间的相关度函数,则在第k+1次消息传递前,Wf、Wh表示可训练的特征变换权重参数;

将vi节点的所有相邻节点计算出的相关度进行统一的归一化处理,

7.根据权利要求6所述的肝静脉及肝门静脉的深度学习分割系统,其特征在于,完成权重计算后,按照Gate Graph Neural Network的思想进行消息传递及节点更新,Gate Graph Neural Network是一种基于GRU的经典空间域消息传递模型;考虑到基于注意力机制加权求和思想设计消息传递函数σ(·),得到含有节点vi及其相邻节点信息的消息mi,即然后基于ConvGRU更新节点,则节点vi新的特征向量为:分别经过k+1次消息传递与节点聚合,得到序列节点[v1,v2,…,vn]最终的特征向量作为解码模块的输入。

8.根据权利要求7所述的肝静脉及肝门静脉的深度学习分割系统,其特征在于,由于肝静脉及肝门静脉相对于整个CT图像来说,目标较小,边缘模糊,因此,提出了一种结合血管边缘度量约束项Ledge的损失函数,优化静脉血管区域及边缘,在训练中,首先基于交叉熵与Dice损失最小化两个区域之间的不相似性,然后基于血管边缘度量约束项,最小化中边缘之间的不匹配,即对血管边缘进行优化调整;

n为输入网络序列CT图像的数量,α的目的是使用LCE和LDice先对网络进行优化后,再慢慢使用Ledge对血管边界进行调整;

为像素i是否属于类别C的表示, 为对应像素预测表示, 表示真实值的距离变换, 预测值的距离变换,为Hausdorff乘积。

9.根据权利要求8所述的肝静脉及肝门静脉的深度学习分割系统,其特征在于,初始α=1,优化后训练每个epoch减少0.01。

10.根据权利要求9所述的肝静脉及肝门静脉的深度学习分割系统,其特征在于, 值为

0或1,即像素i属于类别C时 为1,像素i不属于类别C时 为0。