1.一种基于混合编码器和卷积嵌入的头颅侧位片标志点检测方法,其特征在于,所述基于混合编码器和卷积嵌入的头颅侧位片标志点检测方法,包括:根据已知数据集中的标注计算标志点的先验分布,得到标志点的初始预测位置 对原头颅侧位片进行预处理操作,得到以 为中心的多尺度高斯金字塔I;
将高斯金字塔I各图层下采样到统一大小后输入到混合编码器中得到特征向量FCNN和FST,将FCNN和FST拼接得到特征向量Fconcat;
将特征向量Fconcat输入到卷积嵌入层中进行嵌入操作,降维得到特征向量Fembedding;
将得到的特征向量Fembedding输入到图注意力模块,得到特征向量Fattention;
将特征向量Fattention输入到三层MLP中回归得到相对偏移量 并根据 和 更新标志点的位置 得到新的以 为中心的高斯金字塔,并进行多次迭代更新得到各标志点的最终位置
2.如权利要求1所述的基于混合编码器和卷积嵌入的头颅侧位片标志点检测方法,其特征在于,所述根据已知数据集中的标注计算标志点的先验分布,得到标志点的初始预测位置 对原头颅侧位片进行预处理操作,得到以 为中心的多尺度高斯金字塔I,包括:步骤1.1、根据已知数据集中的标注计算标志点的先验分布,得到平均位置μ,标准差σ;
步骤1.2、根据μ和σ得到服从正态分布的随机初始位置
步骤1.3、在原头颅侧位片使用高斯卷积得到高斯模糊后的图像,以 为中心裁取不同尺寸大小的区域,得到标志点数N个M层多尺度的高斯金字塔I作为输入,其各层图像维度大^(i‑1) ^(i‑1)小分别为(H1×2 )×(W1×2 ),其中H1为金字塔第1层图像的高度,W1为金字塔第1层图像的宽度,i对应的是第i层图像,取值从1到M。
3.如权利要求1所述的基于混合编码器和卷积嵌入的头颅侧位片标志点检测方法,其特征在于,所述将高斯金字塔I各图层下采样到统一大小后输入到混合编码器中得到特征向量FCNN和FST,将FCNN和FST拼接得到特征向量Fconcat,包括:步骤2.1、根据尺度大小将高斯金字塔I分为两类图层ICNN和IST,并将每层图像都下采样到统一大小,其维度大小分别为N×K×1×H2×W2和N×(M‑K)×1×H2×W2,N为金字塔个数且等于标志点数,M为金字塔的图层数,K为M层图层中输入到卷积编码器的层数;
步骤2.2、将原尺度较小的图层ICNN输入至卷积编码器中的卷积层中,得到特征图F1,其维度大小为N×K×C1×H3×W3;
步骤2.3、将特征图F1进行最大池化,然后输入至卷积编码器中的第一层卷积块中,得到特征图F2,其维度大小为N×K×C1×H4×W4;
步骤2.4、将特征图F2输入至卷积编码器中的第二层卷积块中,得到特征图F3,其维度大小为N×K×C2×H5×W5;
步骤2.5、将特征图F3输入至卷积编码器中的第三层卷积块中,得到特征图F4,其维度大小为N×K×C3×H6×W6;
步骤2.6、将特征图F4输入至卷积编码器中的第四层卷积块中,得到特征图F5,其维度大小为N×K×C4×H7×W7;
步骤2.7、将特征图F5进行平均池化,得到特征向量FCNN,其维度大小为表示向量长度等于通道数C4;
步骤2.8、将原尺度较大的图层IST输入至Swin Transformer编码器的图像块嵌入模块中,得到嵌入向量FPE,其维度大小为 其中 表示向量长度等于特征图F2中高度H4和宽度W4的乘积, 表示向量长度等于通道数C1;
步骤2.9、将嵌入向量FPE输入到Swin Transformer编码器的第一层编码块中,得到特征向量F6,其维度大小为步骤2.10、将特征向量F6进输入至Swin Transformer编码器的第二层编码块中得到特征向量F7,其维度大小为 其中 表示向量长度等于特征图F3中高度H5和宽度W5的乘积, 表示向量长度等于通道数C2;
步骤2.11、将特征向量F7输入至Swin Transformer编码器的第三层编码块中得到特征向量F8,其维度大小为 其中 表示向量长度等于特征图F4中高度H6和宽度W6的乘积, 表示向量长度等于通道数C3;
步骤2.12、将特征向量F8输入至Swin Transformer编码器的第四层编码块中得到特征向量F9,其维度大小为 其中 表示向量长度等于特征图F5中高度H7和宽度W7的乘积, 表示向量长度等于通道数C4;
步骤2.13、交换特征向量F9的第三维度和第四维度,并对第四维度进行平均池化,得到特征向量FST,其维度大小为步骤2.14、对特征向量FCNN和FST在第二维度上进行拼接操作,得到Fconcat,其维度大小为其中,C1~C4为通道数,H2~H7为图像的高度,W2~W7为图像的宽度。
4.如权利要求1所述的基于混合编码器和卷积嵌入的头颅侧位片标志点检测方法,其特征在于,所述将特征向量Fconcat输入到卷积嵌入层中进行嵌入操作,降维得到特征向量Fembedding,包括:步骤3.1、在特征向量Fconcat的第二维度进行展开操作,得到特征向量Fflatten,其维度为其中 代表通过展开操作对Fconcat中M个长度为 的特征向量的拼接,N为金字塔个数且等于标志点数,M为金字塔的图层数;
步骤3.2、将特征向量Fflatten输入到卷积嵌入层,使用分组的一维卷积层进行卷积,得到降维后的特征向量Fembedding,其维度为N×L1,L1为向量长度。
5.如权利要求4所述的基于混合编码器和卷积嵌入的头颅侧位片标志点检测方法,其特征在于,所述将得到的特征向量Fembedding输入到图注意力模块,得到特征向量Fattention,包括:步骤4.1、将特征向量Fembedding通过三个线性层Q、K、V分别进行全连接操作,得到向量FQ、FK、FV,其维度均为N×L2,其中向量长度L2为线性层Q、K、V的输出结点数;
步骤4.2、对向量FQ和转置后的FK做点乘操作,得到注意力矩阵Gmatrix,其维度为N×N;
步骤4.3、将注意力矩阵Gmatrix输入到批处理标准化层进行标准化处理,之后使用如下公式进行激活并进行归一化后得到注意力热图Gattention,其维度为N×N;
步骤4.4、将注意力热图Gattention和向量FV进行点乘操作,得到各标志点间的注意力特征FG,其维度为N×L2;
步骤4.5、将注意力特征FG通过线性层R进行全连接操作,还原到维度为N×L1的注意力特征向量,再将注意力特征向量和Fembedding进行残差连接操作得到特征向量Fattention,其维度为N×L1。
6.如权利要求5所述的基于混合编码器和卷积嵌入的头颅侧位片标志点检测方法,其特征在于,所述将特征向量Fattention输入到三层MLP中回归得到相对偏移量 并根据 和更新标志点的位置 得到新的以 为中心的高斯金字塔,并进行多次迭代更新得到各标志点的最终位置 包括:
步骤5.1、将特征向量Fattention输入到线性层P1进行全连接操作,通过Relu函数进行激活并dropout,得到特征向量FMLP1,其维度为N×L3,其中向量长度L3为线性层P1的输出结点数;
步骤5.2、将特征向量FMLP1输入到线性层P2进行全连接操作,通过Relu函数进行激活并dropout,得到特征向量FMLP2,其维度为N×L4,其中向量长度L4为线性层P2的输出结点数;
步骤5.3、将特征向量FMLP2输入到线性层P3进行全连接操作,回归得到相对偏移量 其维度为N×2;
步骤5.4、按照下方公式更新 并以 为中心构建新的多尺度高斯金字塔I作为下一次的输入进行迭代操作,迭代10次后的 为各标志点的最终位置:其中t代表当前的迭代次数,取值从1到10。
7.如权利要求4所述的基于混合编码器和卷积嵌入的头颅侧位片标志点检测方法,其特征在于,所述卷积嵌入层,包括N个卷积核大小384,步长为3的分组一维卷积,对不同类型的标志点各使用一个一维卷积层进行嵌入操作实现降维,降维后的向量长度L1计算方式如下方公式: