1.一种基于多注意力融合机制和高精度分割网络的病理细胞分类方法,其特征在于,包括以下步骤:步骤1、病理细胞医学图像的收集与预处理;
步骤2、构建多注意力融合模块,包括构造压缩激励模块,使得网络模型能够学习不同通道之间的关系;构造空间注意力模块,帮助网络模型识别细胞图像中的关键特征区域;
步骤3、构建高精度分割网络,通过高精度分割网络在病理细胞医学图像上生成感兴趣区域;
步骤4、搭建基于多注意力融合和高精度分割网络的深度网络模型,深度网络模型中包括多注意力融合模块和高精度分割网络模块,利用预处理过的病理细胞医学图像对深度网络模型进行训练,得到病理细胞分类在正确率最高的深度网络模型;
步骤5、将需要检测的病理细胞医学图像送入经过步骤4优化的深度网络模型中,获得对病理细胞样本的分类结果;
所述的步骤3具体为:
在病理细胞医学图像上的每个像素点上生成多个矩形锚框,锚框选取3种尺寸及3种不同的长宽比,共计9个锚框;对每个锚框进行分类、偏移量回归任务;其中锚框分类任务使用二元交叉熵损失函数:Lcls(p,y)=‑ylog(p)‑(1‑y)log(1‑p)其中y是真实值,p是预测值;
锚框偏移量回归采用的损失函数为:
其中y′为预测值,δ为常数,可视情况确定其值;
将锚框分类任务使用的损失函数和锚框偏移量使用的损失函数的加权和作为总体的损失函数为:i为各锚框的索引;α为视情况而确定的常数,用来控制锚框分类任务的损失在总损失中的占比;pi*,ti*分别表示预测值,pi、ti分别表示真实值;Ncls表示锚框数量;
利用锚框回归得到的锚框偏移量计算出建议框的位置及大小,进而计算建议框与真实框的交并比,公式为:其中,FIoU表示建议框与真实框的交并比,A表示真实框的面积,B表示建议框的面积;
将锚框分类任务得到的分类分数和交并比加权求和,其计算公式为:Ts=Fcls+λFIoU
其中,Ts表示融合分数,Fcls表示分类分数,λ是一个系数,可由模型学习得到,衡量交并比在融合分数中的权重;
采用非极大值抑制算法对融合分数进行处理,筛选得到最合适的建议框。
2.根据权利要求1所述的一种基于多注意力融合机制和高精度分割网络的病理细胞分类方法,其特征在于,所述的步骤1过程包括:步骤1.1.收集用病理细胞制成的巴氏涂片在显微镜视野下的图像,对由专业医师对每个病理细胞医学图像中的病理细胞进行以下分类:高核质比形态符合HSIL标准的细胞、HSIL或SCC中的异常角化细胞、HSIL或SCC中的异常裸核、挖空细胞、形态符合LSIL标准的非挖空细胞、异常腺细胞、异常化生细胞、正常裸核、正常中表层细胞、病原微生物细胞、正常副基底层细胞、典型鳞状上皮化生、典型角化;
步骤1.2.对收集到的病理细胞医学图像进行图像增强,包括随机角度旋转、翻转、裁剪、位移及按比例缩放等,使得到的病理细胞医学图像数据集更加丰富;
步骤1.3.使用labelme标注工具对每张病理细胞医学图像进行标注,包括病理细胞医学图像中的病理细胞的分类标签及细胞轮廓坐标。
3.根据权利要求1所述的一种基于多注意力融合机制和高精度分割网络的病理细胞分类方法,其特征在于,所述的步骤2具体为:步骤2.1.构造压缩激励模块,包括:
压缩:对病理细胞医学图像进行全局平均池化,经过压缩操作后,病理细胞医学图像的尺寸由H×W×C被压缩为1×1×C,聚合了跨空间的特征;其中,H表示病理细胞医学图像的高,W表示病理细胞医学图像的宽,C表示病理细胞医学图像的通道数;压缩操作的计算公式为:其中uc(i,j)表示病理细胞医学图像在(i,j)位置上不同通道的像素值;
激励:学习病理细胞医学图像的每个通道的权重,其包含两个全连接层,最终输出1×1×C的向量;激励操作的计算公式为:S=Fex(z,W)=σ(g(z,w))=σ(W2δ(W1z))其中σ表示sigmoid激活函数,δ表示ReLu函数;W1指第一个全连接层的权重参数,W2指的是第二个全连接层的权重参数;
Scale:将在激励操作中学到的每个通道的权重乘以原始特征,Scale操作的计算公式为:u′c(i,j)=S×uc(i,j)
其中uc是输入到Scale操作公式中的病理细胞医学图像,u′c表示Scale操作公式输出的病理细胞医学图像;
步骤2.2.构造空间注意力模块:首先,利用全局平均池化的方法来聚合病理细胞医学图像的通道特征,沿通道方向的全局平均池化,其公式:其中x(i,j)表示病理细胞医学图像上点(i,j)的特征;
然后用一个1×1的卷积来学习注意力图的权重G,其计算公式:G=FConv=Mx(i,j)
其中M是由1×1卷积学到的权重矩阵;
最后进行Scale操作,计算公式为:
u′c(i,j)=G×uc(i,j)。
4.根据权利要求1所述的一种基于多注意力融合机制和高精度分割网络的病理细胞分类方法,其特征在于,所述的步骤4包括:步骤4.1.在ResNet18网络中加入多注意力融合模块;此网络模型以ResNet18网络为基础,ResNet18网络共有5个阶段,第一阶段是一个7×7的卷积,和由残差块组成的四个阶段;
将压缩激励模块和空间注意力模块串联嵌入ResNet18网络的第二到四阶段,ResNet18网络最终输出提取病理细胞医学图像得到的特征图;
步骤4.2.将特征图送入高精度分割网络,获得感兴趣区域,即包含病理细胞的锚框;根据步骤4.1获得的特征图和前面获得的锚框获取感兴趣区域所包含的特征,经过池化后送入分类器进行分类任务;
步骤4.3.将经过预处理的病理细胞医学图像按8:2划分训练集和测试集;将训练集送入前面搭建的网络模型中进行训练,训练过程中使用的损失函数采用焦点损失函数,公式为:* γ *
FL=‑(1‑p×p) log(p)
其中,FL表示焦点损失函数值,p*表示预测值,p表示真实值,γ为一个权重,需经过实验确认最优值;
训练完成后,用测试集对网络模型进行测试,选取平均正确率最高的模型作为最优的病理细胞医学图像分类模型。
5.根据权利要求1所述的一种基于多注意力融合机制和高精度分割网络的病理细胞分类方法,其特征在于,所述的步骤5,具体为:步骤5.1.将需要检测的病理细胞医学图像送入经过步骤4优化的网络模型中,获得网络模型对送检样本的分类结果;
步骤5.2.对分类结果进行判断:如果分类结果属于高核质比形态符合HSIL标准的细胞、HSIL或SCC中的异常角化细胞、HSIL或SCC中的异常裸核、挖空细胞、形态符合LSIL标准的非挖空细胞、异常腺细胞、异常化生细胞之一,则判定该样本为癌变阳性;如果分类结果属于正常裸核、正常中表层细胞、病原微生物细胞、正常副基底层细胞、正常颈管细胞、典型角化不全之一,则判定为癌变阴性。