1.一种基于注意力机制的骨龄智能评估方法,其包括以下步骤:
步骤1:对整张手骨进行检测和分割,生成骨龄评估所用到的CHN法所需的14个骨骼区域的图片;具体包括:
11)对整张手骨进行预处理,采用图像滤波、锐化技术,使骨头区域更加清晰明确,本部分采用的是均值滤波,公式如下:
12)对图片进行高斯降噪,该过程采用的是高斯滤波器,通过计算每个像素点周围的邻域像素的加权平均值来平滑图像;具体而言,通过在像素周围创建一个小的正态分布内核,在使用卷积运算进行平滑处理时将像素影响最大的像素分配最高的权重,高斯滤波器的公式如下:
2 ∧ ∧ ∧ 2
G(x,y)=1/(2πσ)×e (‑x 2+y 2)/2σ (2‑2)其中,G(x,y)表示滤波后的像素值;(x,y)表示当前像素的坐标;σ表示滤波器内核的标准差,实际操作中,我们通过调整标准差和窗口大小来控制平滑程度;
13)对上述处理好的图像进行二值化处理,二值化的公式如下所示:
其中,image(x,y)代表原始图像在坐标(x,y)处的像素值,result(x,y)代表处理后的二值图像在坐标(x,y)处的像素值,threshold代表阈值;
14)使用改进过的YOLOv5网络对处理好的整张手骨图片进行区域检测并提取对应的14块骨头区域,整个网络结构分为三个部分:Backbone、Neck和Head,Backbone采用CSPNet(CenterNet‑style Feature Pyramid Network)结构,主要通过残差块实现特征提取,Neck模块采用了SPP(Spatial Pyramid Pooling)和PAN(Path Aggregation Network)两种机制,分别用于提取多尺度特征和实现信息融合,Head模块负责预测检测框位置和类别信息,分割好的14块骨头以供接下来的工作使用;
步骤2:该部分是将14块骨头分别进行等级识别完成整个训练过程;具体包括:
21)选择ResNet34作为主干网络,总共包括:1个卷积层,1个池化层,约32个卷积层和64个标准化层组成的基础块,以及1个全局平均池化层和1个全连接层;
22)将通道注意力机制模块和空间注意力机制模块加入到该网络第一次卷积之后,通道注意力机制旨在根据输入张量中各通道之间的关系调整其特征图的权重,通道注意力机制公式如下:fexc=ReLU(BN(W1averagepooling(x))) (2‑4)fgate=sigmoid(BN(W2averagepooling(x))) (2‑5)y=fgate⊙x+(1‑fgate)⊙fexc (2‑6)其中x代表输入的特征图,W1和W2分别表示1x1卷积的权值矩阵,averagepooling是全局平均池化操作,fexc是激活函数ReLU应用于pooling后的输出,fgate是门控函数sigmoid应用于pooling后的输出,⊙表示逐元素相乘;空间注意力机制则专注于学习空间上的依赖关系,以此确保具有重要信息的区域受到更高的关注,本方法采用的是一种常见的空间注意力机制是self‑attention机制,也称为多头注意力机制,其公式为:其中Q,K,V分别代表查询,键和值,公式中的除数 用于调整结果的尺度,通过self‑attention机制能够学习特征图中任意两个像素之间的关系,并在不同层使用多个注意力头来提升性能;
23)将上述的两个注意力机制模块加入到最后一个池化层和全连接层之前,然后经过最后的池化和全连接操作最后得到识别的对应等级,在这种流程中进行训练得到最终的网络结构;
步骤3:该部分用于对待测者骨龄的评估,将步骤1和步骤2完成等级识别的骨头进行比对,得到相应的分数,再通过相应的得分得到最终评估的骨龄;具体包括:
31)对整张待测人体手骨进行步骤1的区域检测,并分割为14块对应骨头区域,其中包括桡骨,掌骨Ⅰ,掌骨Ⅲ,掌骨Ⅴ,近节指骨Ⅰ,近节指骨Ⅲ,近节指骨Ⅴ,中节指骨Ⅲ,中节指骨Ⅴ,远节指骨Ⅰ,远节指骨Ⅲ,远节指骨Ⅴ,头状骨,钩骨;
32)对各个参照骨进行步骤2的等级识别,利用训练好的网络进行等级识别;
33)根据得到的这14块参照骨的等级对照CHN法各骨发育分期得分表获得每一块骨头对应的得分;
34)根据上述的得分,对它们进行求和操作,根据该总得分对照CHN法骨发育成熟分与骨龄对照表进行比对,得到最终评估骨龄值。