1.一种基于三维正交注意力的CT图像目标检测方法,其特征在于,包括如下步骤:步骤S1:采用多张CT图像构建CT图像数据集,并对CT图像数据集进行数据预处理,得到预处理后的CT图像数据集;
步骤S2:将预处理后的CT图像数据集划分为训练集、验证集和测试集,并对训练集和验证集任务形式化,得到任务形式化后的训练集和验证集;
任务形式化的具体过程为:以训练集和验证集内CT图像中的CT图像目标为中心,切分出中心附近的128*128*128的三维图像区域,并从128*128*128的三维图像区域内得到1*
128*128*128的CT图像目标三维数据;
步骤S3:构建CT图像目标检测模型;CT图像目标检测模型由特征提取主干网络、CT图像检测模块、假阳性减少模块和CT图像分割模块组成;
特征提取主干网络依次由第一个编码块、第二个编码块、第一个三维正交注意力编码块、第二个三维正交注意力编码块、第三个编码块、第一个解码块和第二个解码块组成;其中,第一个编码块、第二个编码块、第三个编码块、第一个解码块和第二个解码块均由残差网络组成,第一个三维正交注意力编码块和第二个三维正交注意力编码块均由三个三维正交注意力模块组成;三维正交注意力模块均由三个1×1×1卷积层组成;
CT图像检测模块由两个3D卷积块组成,3D卷积块由一个3×3×3的三维卷积层和一个1×1×1卷积层组成;
假阳性减少模块由3D卷积块、重塑操作和全连接层组成;
CT图像分割模块由三个3×3×3卷积层和一个sigmoid激活函数组成;
步骤S4:使用任务形式化后的训练集和验证集对CT图像目标检测模型进行训练,得到训练后的CT图像目标检测模型,将测试集输入训练后的CT图像目标检测模型中,输出CT分割图像;
将测试集输入训练后的CT图像目标检测模型,输出的具体过程为:将测试集中的CT图像输入特征提取主干网络中得到低感受野特征图和主干网络提取特征图,将主干网络提取特征图输入CT图像检测模块得到多个预测的CT图像目标预测概率和CT图像目标预测边界框,CT图像目标预测边界框为CT图像目标的三维位置信息,利用CT图像目标的三维位置信息提取低感受野特征图中所有CT图像目标的感兴趣区域组成3D感兴趣区域池,将3D感兴趣区域池输入假阳性减少模块得到预测的CT图像目标的二元分类概率,将主干网络提取特征图、低感受野特征图和测试集中的CT图像输入CT图像分割模块得到CT分割图像;
预测的CT图像目标的二元分类概率的取值范围为0至1,预测的CT图像目标的二元分类概率越接近1代表为真实CT图像目标的概率越大。
2.根据权利要求1所述的一种基于三维正交注意力的CT图像目标检测方法,其特征在于:得到低感受野特征图和主干网络提取特征图的具体过程为:将测试集中的CT图像输入第一个编码块得到CT图像的特征,将得到的CT图像的特征输入第二个编码块得到低感受野特征图,将低感受野特征图输入第一个三维正交注意力编码块得到第一个特征图,将第一个特征图输入第二个三维正交注意力编码块得到第二个特征图,将第二个特征图输入第三个编码块得到第三个特征图,将第三个特征图输入第一个解码块得到第四个特征图,将第四个特征图和第一个特征图进行拼接并输入第二个解码块中得到第五个特征图,将第五个特征图和低感受野特征图进行拼接得到主干网络提取特征图。
3.根据权利要求2所述的一种基于三维正交注意力的CT图像目标检测方法,其特征在于:得到多个预测的CT图像目标预测概率和CT图像目标预测边界框的具体过程为:将主干网络提取特征图输入至两个3D卷积块中分别输出多个预测的CT图像目标预测概率和CT图像目标预测边界框。
4.根据权利要求3所述的一种基于三维正交注意力的CT图像目标检测方法,其特征在于:得到预测的CT图像目标的二元分类概率的具体过程为:将3D感兴趣区域池输入3D卷积块得到3维的感兴趣区域图像特征,将3维的感兴趣区域图像特征输入重塑模块得到1维的感兴趣区域图像特征,将1维的感兴趣区域图像特征输入全连接层得到预测的CT图像目标的二元分类概率。
5.根据权利要求4所述的一种基于三维正交注意力的CT图像目标检测方法,其特征在于:得到CT分割图像的具体过程为:根据CT图像目标预测边界框从主干网络提取特征图中提取出CT图像目标的第一区域数据,将CT图像目标的第一区域数据输入第一个3×3×3卷积层得到CT图像目标的第一区域数据的第一分割特征,根据CT图像目标预测边界框从低感受野特征图中提取出CT图像目标的第二区域数据,将CT图像目标的第二区域数据和CT图像目标的第一区域数据的第一分割特征拼接后输入第二个3×3×3卷积层得到第二分割特征,根据CT图像目标预测边界框从测试集中的CT图像中提取出CT图像目标的第三区域数据,将CT图像目标的第三区域数据和第二分割特征进行拼接后输入第三个3×3×3卷积层后再经过sigmoid激活函数操作后得到CT分割图像。
6.根据权利要求5所述的一种基于三维正交注意力的CT图像目标检测方法,其特征在于:设 为输入三维正交注意力编码块的特征图,其中C、D、H、W分别表示输入的特征图的数目,深度,高度和宽度;三维正交注意力编码块的定义为:(1);
式中, 为三维正交注意力编码块的输出特征; 为特征分组操作;
分别为输入的特征图在X轴、Y轴、Z轴三个方向上的特征分组操作;G
为三维正交注意力模块。
7.根据权利要求6所述的一种基于三维正交注意力的CT图像目标检测方法,其特征在于:所述特征分组操作采用两种方式:短距离切片操作:将输入的特征图分为N组,相邻的 张特征图的切片特征分为一组;
长距离切片操作:将间隔N张特征图的切片特征分为一组。
8.根据权利要求7所述的一种基于三维正交注意力的CT图像目标检测方法,其特征在于:三维正交注意力模块的定义如下:(2);
(3);
式中, 为可学习的权重矩阵; 为点乘操作; 、 、 表示为三个1
×1×1卷积层; 为批量归一化操作;
采用长距离切片操作和短距离切片操作分别在输入的特征图的X轴、Y轴、Z轴三个方向上进行特征分组,得到输入的特征图的X轴、Y轴、Z轴三个方向上输出的切片特征:(4);
(5);
(6);
式中, 、 、 分别为沿着输入的特征图的X轴、Y
轴、Z轴三个方向进行切片特征分组操作后经过三维正交注意力模块得到的输出; 、和 分别为沿着X轴、Y轴、Z轴三个方向进行切片特征分组操作;将 、和 求和后取平均值作为三维正交注意力模块的输出。