利索能及
我要发布
收藏
专利号: 2024110673891
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于混合注意力监督U型网络MRI图像分割系统,其特征在于,所述系统包括:图像预处理模块、多模态MRI图像分割模型训练模块和图像生成模块,其中,所述图像预处理模块,用于对T1、T1CE、T2和T2FLAIR四种模态的MRI图像进行预处理,并将预处理后的四种模态的MRI图像在通道方向堆叠,得到多模态MRI图像;

所述多模态MRI图像分割模型训练模块,用于基于所述多模态MRI图像训练混合注意力监督U型网络,得到多模态MRI图像分割模型;

所述图像生成模块,用于将实际的多模态MRI图像输入至所述多模态MRI图像分割模型中,生成分割掩码;

所述多模态MRI图像分割模型训练模块包括编码器、解码器和跳跃连接,其中,所述编码器,用于逐层下采样所述多模态MRI图像,提取不同分辨率下的多尺度特征,并将所述多尺度特征作为解码器的输入;

所述解码器,用于融合所述多尺度特征,生成分割掩码;

所述跳跃连接,用于将编码器和解码器之间的特征进行融合,以减少浅层特征与深层特征之间的语义差异;

所述编码器包括依次连接的卷积划分模块和四个编码模块,其中,

所述卷积划分模块包括依次连接的第一三维卷积和第一层标准化,所述第一三维卷积的卷积核和步幅均为2;

第一编码模块包括依次连接的第一局部上下文融合Transformer块和第一三维图像融合模块;第二编码模块包括依次连接的第二局部上下文融合Transformer块和第二三维图像融合模块;第三编码模块包括依次连接的第一全局Transformer块和第三三维图像融合模块;第四编码模块包括依次连接的第二全局Transformer块和第四三维图像融合模块;

所述第一局部上下文融合Transformer块和第二局部上下文融合Transformer块均由依次连接的第二层标准化、三维多头邻域自注意力、第三层标准化、第一多层感知机、第四层标准化、三维多头空洞邻域自注意力、第五层标准化和第二多层感知机组成;

所述第一局部上下文融合Transformer块和第二局部上下文融合Transformer块的输出特征 的计算公式如下:,

其中,LN为层标准化,MNSA为三维多头邻域自注意力, 为输入特征,MLP为多层感知机,MDNSA为多头空洞邻域自注意力, 、 、 均为中间特征,l为特征的序号。

2.根据权利要求1所述的一种基于混合注意力监督U型网络MRI图像分割系统,其特征在于,所述三维多头邻域自注意力包含依次连接的第一线性层和第一softmax赋权,第i个图像小块的邻域自注意力得分 的计算公式为:,

其中, 为价值矩阵; 为以第i个图像小块为中心的第d个邻域图像小块的键矩阵Key的转置矩阵;softmax为softmax赋权;d为第i个图像小块的邻域范围的大小; 为第i个图像小块的关注权重, 的计算公式为:,

其中,Q为第i个图像小块的查询向量矩阵Query, 为以第i个图像小块为中心的第d个邻域图像小块的键矩阵Key的转置矩阵, 为以第i个图像小块为中心的第d个邻域图像小块, 为第i个图像小块查询Query矩阵和第d个邻域图像小块的位置关系。

3.根据权利要求1所述的一种基于混合注意力监督U型网络MRI图像分割系统,其特征在于,所述三维多头空洞邻域自注意力包括依次连接的第二线性层和第二softmax赋权,第i个图像小块的邻域扩张自注意力得分 的计算公式为:,

其中, 为扩张价值矩阵; 为以第i个图像小块为中心第d个不被空洞填充的邻域图像小块的价值矩阵Value的转置矩阵;softmax为softmax赋权;d为第i个图像小块的邻域范围的大小; 为输入特征中N个两两间隔r个空洞的图像小块中的第i个图像小块的关注权重, 的计算公式为:,

其中,Q为第i个图像小块的查询向量矩阵Query, 为以第i个图像小块为中心的第d个空洞邻域图像小块的键矩阵Key的转置矩阵, 为以第i个图像小块为中心第d个不被空洞填充的邻域图像小块, 为第i个图像小块查询Query矩阵和第d空洞邻域图像小块的位置关系,r为每两个空洞邻域图像小块之间的距离。

4.根据权利要求1所述的一种基于混合注意力监督U型网络MRI图像分割系统,其特征在于,第一全局Transformer块和第二全局Transformer块均由依次连接的第六层标准化、第一三维多头自注意力、第七层标准化、第三多层感知机、第八层标准化、第二三维多头自注意力、第九层标准化和第四多层感知机组成;

第一全局Transformer块和第二全局Transformer块的输出特征 的计算公式为:,

其中,LN为层标准化,MSA为三维多头自注意力, 为输入特征,MLP为多层感知机,、 和 均为中间特征,l为特征的序号。

5.根据权利要求1所述的一种基于混合注意力监督U型网络MRI图像分割系统,其特征在于,所述第一三维图像融合模块、第二三维图像融合模块、第三三维图像融合模块和第四三维图像融合模块均包括依次连接的特征分组和第三线性层。

6.根据权利要求1所述的一种基于混合注意力监督U型网络MRI图像分割系统,其特征在于,所述解码器包括依次连接的四个不同层级的解码模块、一个分割掩码输出模块和逐层监督损失,每一层级的解码模块均包括依次连接的特征聚焦模块、特征复原模块、第一特征精修块和尺寸调整块;

所述特征聚焦模块包括依次连接的三维的通道注意力和空间注意力;所述通道注意力包括第一3DMaxPooling、第一3DAvgPooling、第五多层感知机和第一Sigmoid赋权,所述第一3DMaxPooling和第一3DAvgPooling的输出端均连接于所述第五多层感知机的输入端,所述第五多层感知机的输出端连接于所述第一Sigmoid赋权的输入端;所述空间注意力包括第二3DMaxPooling、第二3DAvgPooling、3D卷积和第二Sigmoid赋权,所述第二

3DMaxPooling和第二3DAvgPooling的输出端均连接于所述3D卷积的输入端,所述3D卷积的输出端连接于所述第二Sigmoid赋权的输入端;

所述特征复原模块包括依次连接的三维转置卷积、第十层标准化和第一relu激活函数;

所述第一特征精修块包括第二三维卷积、第十一层标准化、第二relu激活函数和残差连接;所述第二三维卷积、第十一层标准化和第二relu激活函数依次连接,所述残差连接的两端分别连接第二三维卷积的输入端和第二relu激活函数的输出端,以将第二三维卷积的输入特征图与第二relu激活函数的输出特征图在通道方向进行拼接;

所述尺寸调整块包括依次连接的1×1×1的卷积层和三次线性上采样。

7.根据权利要求6所述的一种基于混合注意力监督U型网络MRI图像分割系统,其特征在于,所述分割掩码输出模块包括依次连接的第二特征精修块和第三特征精修块;所述第二特征精修块的输入特征为多模态MRI图像,所述第二特征精修块的输出特征与第四层级的解码模块的输出特征进行拼接,拼接后的特征经过第三特征精修块后,输出分割掩码。

8.基于权利要求7所述的一种基于混合注意力监督U型网络MRI图像分割系统的MRI图像分割方法,其特征在于,所述方法包括:S1:对T1、T1CE、T2和T2FLAIR四种模态的MRI图像进行预处理,并将预处理后的四种模态的MRI图像在通道方向堆叠,得到多模态MRI图像;

S2:基于所述多模态MRI图像训练混合注意力监督U型网络,得到多模态MRI图像分割模型;

S3:将实际的多模态MRI图像输入至所述多模态MRI图像分割模型中,生成分割掩码;其中,步骤S2具体为:S21:所述多模态MRI图像输入至卷积划分模块,将所述多模态MRI图像划分为图像小块,并将每个图像小块拉伸为图像小块向量;

S22:划分为图像小块的所述多模态MRI图像输入至第一编码模块,所述第一编码模块对多模态MRI图像进行第一次下采样,提取得到第一低分辨率特征;

S23:所述第一低分辨率特征输入至第二编码模块,所述第二编码模块对第一低分辨率特征进行第二次下采样,提取得到第二低分辨率特征;

S24:所述第二低分辨率特征输入至第三编码模块,所述第三编码模块对第二低分辨率特征进行第三次下采样,提取得到第三低分辨率特征;

S25:所述第三低分辨率特征输入至第四编码模块,所述第四编码模块对第三低分辨率特征进行第四次下采样,提取得到第四低分辨率特征;

S26:将所述第四低分辨率特征输入至第一解码模块,所述第一解码模块对第四低分辨率特征进行第一次上采样,提取得到第一高分辨率特征;所述逐层监督损失将所述第一高分辨率特征与医生标注的金标准进行强监督损失计算;

S27:通过跳跃连接融合第一高分辨率特征和第三低分辨率特征,得到第一融合特征;

并将所述第一融合特征输入至第二解码模块,所述第二解码模块对第一融合特征进行第二次上采样,提取得到第二高分辨率特征;所述逐层监督损失将所述第二高分辨率特征与医生标注的金标准进行强监督损失计算;

S28:通过跳跃连接融合第二高分辨率特征和第二低分辨率特征,得到第二融合特征;

并将所述第二融合特征输入至第三解码模块,所述第三解码模块对第二融合特征进行第三次上采样,提取得到第三高分辨率特征;所述逐层监督损失将所述第三高分辨率特征与医生标注的金标准进行强监督损失计算;

S29:通过跳跃连接融合第三高分辨率特征和第一低分辨率特征,得到第三融合特征;

并将所述第三融合特征输入至第四解码模块,所述第四解码模块对第三融合特征进行第四次上采样,提取得到第四高分辨率特征;所述逐层监督损失将所述第四高分辨率特征与医生标注的金标准进行强监督损失计算;

S210:所述多模态MRI图像输入至第二特征精修块,得到精修特征;将所述精修特征与第四高分辨率特征进行拼接,得到第四融合特征;将所述第四融合特征输入至第三特征精修块,输出得到分割掩码;

S211:将所述分割掩码与医生的标注图像进行评估鉴别,若通过评估鉴别,则此时的混合注意力监督U型网络即为多模态MRI图像分割模型;若未通过评估鉴别,则重复步骤S21‑S10,对混合注意力监督U型网络进行重复训练,直至所述分割掩码通过评估鉴别,此时的混合注意力监督U型网络即为多模态MRI图像分割模型。