利索能及
我要发布
收藏
专利号: 2024113147972
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于层级脑网络图卷积深度学习的图像处理方法,其特征在于,方法包括以下步骤:接收三维脑部多模态影像数据并进行预处理,得到预处理后的三维脑部多模态影像数据,根据预处理后的三维脑部多模态影像数据的灰白质交界面体素纤维束追踪结果,分割得出高分辨率大脑皮层分区;

对高分辨率大脑皮层分区进行表示学习提取深度局部影像特征与脑网络连接特征,并提取影像组学和连接组学特征,基于空间邻接关系生成高分辨率分区ROI的空间邻接图,基于贪婪算法合并脑网络节点生成层级脑网络的树状图;

基于球面上的圆谐函数建立图卷积核,将空间邻接图的局部节点信息进行聚合,同时建立基于球谐函数的图卷积核,将通过脑网络连接的远端节点信息进行聚合,根据层级脑网络树状图对聚合的节点进行池化和反池化,获取生成面向图分类的残差图卷积神经网络模型和面向节点分类的UNet++图卷积神经网络模型;

根据面向图分类的残差图卷积神经网络模型和面向节点分类的UNet++图卷积神经网络模型对图像的处理,实现对脑网络模块层次性的深度表征。

2.根据权利要求1所述的基于层级脑网络图卷积深度学习的图像处理方法,其特征在于,所述根据预处理后的三维脑部多模态影像数据的灰白质交界面体素纤维束追踪结果,分割得出高分辨率大脑皮层分区的过程:以灰白质交界曲面上体素为种子点进行概率性纤维束追踪,建立纤维束密度图,根据纤维束密度图的相似性建立加权无向图,设连接顶点v1和v2的边为e,以v1和v2为种子点进行纤维束追踪获得的纤维密度图分别为TDI1和TDI2,TDI1和TDI2的平方和差异为SSD(TDI1, TDI2),v1和v2之间的欧氏距离为dEuc(v1, v2),η为加权系数,则边e的权重we(v1, v2)为:η取值为η0乘以所有邻接点对的SSD/dEuc均值;

使用Dijkstra算法计算ROI内所有点对之间的测地距离,建立测地距离矩阵W;

对基于测地距离矩阵W进行谱聚类,共获取K个高分辨率大脑皮层分区。

3.根据权利要求1所述的基于层级脑网络图卷积深度学习的图像处理方法,其特征在于,所述高分辨率分区ROI的提取过程:以灰白质交界曲面上的ROI为种子点,使用种子点区域增长算法将分区结果投射到皮层与皮层下浅表白质,获取Voronoi分区;

将多模态影像的Voronoi分区分别输入卷积自编码器提取局部深度影像特征,并提取影像组学特征;

基于灰质Voronoi分区建立功能脑网络与结构脑网络,输入自编码器获得深度连接特征,并提取连接组学特征,将提取的所有特征组成高分辨率分区ROI特征。

4.根据权利要求1所述的基于层级脑网络图卷积深度学习的图像处理方法,其特征在于,所述层级脑网络的树状图的生成过程:以高分辨率大脑皮层分区ROI为层级脑网络树状图的叶节点;

根据节点ROI的空间邻接关系建立加权无向图,基于贪婪算法不断聚合邻接的相似ROI,以构建高一层级的ROI;

对每一层节点分区,分别建立功能脑网络和结构脑网络,得到层级脑网络的树状图。

5.根据权利要求1所述的基于层级脑网络图卷积深度学习的图像处理方法,其特征在于,所述基于球面上的圆谐函数的图卷积核进行聚合的过程:将灰白质交界曲面拓扑形变为球面,形变过程中保持曲面间顶点间的距离不变;

对球面上的节点分区S,提取穿越S中心点及球面北极点的球面大圆C0;

提取穿越S中心点与邻接节点N中心点的大圆,并以顺时针方向计算其与C0的夹角θ;

圆环上的图卷积核w使用圆谐函数进行表示:

其中 及 为圆谐函数,k=0,1,2,⋯,∞

设hi为第i个节点的局部特征向量, 为第i个节点的空间邻接节点,w0’为待学习的节点自身权重系数,圆谐函数的图卷积可将空间邻接节点的特征向量聚合到当前节点: 。

6.根据权利要求1所述的基于层级脑网络图卷积深度学习的图像处理方法,其特征在于,所述基于球谐函数的图卷积核,将通过脑网络连接的远端节点信息进行聚合的过程:将灰白质交界曲面进一步形变为单位球面;

对于同侧大脑半球内的连接和大脑半球间的连接,分别建立两个球面函数和 ;

设gi为第i个节点的脑网络连接特征向量向量,聚合脑网络连接节点信息的图卷积表示为:其中, 为第j个节点的在单位球面上的坐标,θ和φ 分别为仰角和方位角,eij为当前节点与同侧半球的第j个节点的脑网络连接, 表示与对侧半球的第j个节点的脑网络连接, 和 分别表示同侧和对侧大脑半球第j个节点的特征向量, 为节点i自身的权重系数;

使用球谐函数将图卷积核进一步表示为:

其中 为线性组合系数,Yl,m为球谐函数:

7.根据权利要求1所述的基于层级脑网络图卷积深度学习的图像处理方法,其特征在于,所述根据层级脑网络树状图对聚合的节点进行池化和反池化的过程:池化过程根据层级脑网络树状图将网络节点合并为高一层次的节点,同时变更脑网络结构;

节点合并过程中对节点中的特征向量进行池化操作,可选最大池化或平均池化;

反池化根据树状图结构将网络节点拆分为低一层次的节点,并对节点中的特征向量进行反池化,选反最大池化或反平均池化。

8.根据权利要求1所述的基于层级脑网络图卷积深度学习的图像处理方法,其特征在于,所述面向图分类的残差图卷积神经网络模型基于图卷积核Cconv和Sconv、图池化和全连接层建立面向图分类的残差图卷积神经网络;

网络以ResNet为结构,包括6层图卷积层、3层图池化层、1层全局平均池化层和1层全连接层,使用Leaky ReLU函数作为中间层激活函数,使用Sigmoid函数或Softmax函数作为输出层激活函数。

9.根据权利要求1所述的基于层级脑网络图卷积深度学习的图像处理方法,其特征在于,所述面向节点分类的UNet++图卷积神经网络模型基于图卷积核Cconv和Sconv,以及图池化和反池化操作建立UNet++图卷积神经网络;

网络使用ResNet为主干网络,包括8层图卷积层、3层图池化层及3层上采样层,使用稠密跳跃连接和深度监督机制。

10.基于层级脑网络图卷积深度学习的图像处理系统,其特征在于,包括:分区分割模块,用于接收三维脑部多模态影像数据并进行预处理,得到预处理后的三维脑部多模态影像数据,根据预处理后的三维脑部多模态影像数据的灰白质交界面体素纤维束追踪结果,分割得出高分辨率大脑皮层分区;

特征提取模块,用于对高分辨率大脑皮层分区进行表示学习提取深度局部影像特征与脑网络连接特征,并提取影像组学和连接组学特征,基于空间邻接关系生成高分辨率分区ROI的空间邻接图,基于贪婪算法合并脑网络节点生成层级脑网络的树状图;

模型生成模块,用于基于球面上的圆谐函数建立图卷积核,将空间邻接图的局部节点信息进行聚合,同时建立基于球谐函数的图卷积核,将通过脑网络连接的远端节点信息进行聚合,根据层级脑网络树状图对聚合的节点进行池化和反池化,获取生成面向图分类的残差图卷积神经网络模型和面向节点分类的UNet++图卷积神经网络模型;

图像处理模块,用于根据面向图分类的残差图卷积神经网络模型和面向节点分类的UNet++图卷积神经网络模型对图像的处理,实现对脑网络模块层次性的深度表征。