1.一种基于YOLOv5和显微高光谱图像的异型淋巴细胞分型方法,其特征在于,包括以下步骤:
步骤1:制作异型淋巴细胞的显微高光谱数据集使用搭载高光谱相机的生物显微镜采集异型淋巴细胞的显微高光谱图像;使用异型淋巴细胞的显微高光谱图像在461、548和698nm波段下对应的灰度图像合成伪彩图,将异型淋巴细胞的伪彩图划分成训练集、验证集与测试集;
步骤2:构建基于改进后的YOLOv5网络的定位模型和基于一维卷积神经网络的分型模型
使用基于改进后的YOLOv5网络的定位模型完成淋巴细胞的定位;基于改进后的YOLOv5网络的定位模型,包含输入端、改进后的Backbone模块、Neck模块、YOLO head模块与定位模块;输入端是指Mosaic数据增强算法;改进后的Backbone模块包含Focus层、两组CBL和CSP_
1、一组CBL和SPP;Neck模块包含FPN+PAN结构与两组CBL+CSP2_X;YOLO head模块包含两个尺度的检测头;定位模块包含非极大值抑制、IOU阈值判定、使用DIOU损失函数评价位置损失和使用BCE损失函数评价真实框和预测框的物体类别置信度损失;其中,真实框是指淋巴细胞在图中所在位置对应的最小外接矩形;
基于一维卷积神经网络的分型模型利用异型淋巴细胞的显微高光谱数据完成异型淋巴细胞的分型识别;基于一维卷积神经网络的分型模型,包含坐标转换与区域截取模块、光谱信息获取模块与一维卷积神经网络;坐标转换与区域截取模块将定位模型识别结果中预测框的相对位置信息转换为淋巴细胞显微高光谱图像中预测框的真实坐标信息,使用该真实坐标信息得到淋巴细胞预测框内的伪彩图像;光谱信息获取模块对预测框内的伪彩图像进行阈值分割,获取淋巴细胞的轮廓信息并依此提取淋巴细胞的平均光谱值;一维卷积神经网络包含3组一维卷积、Leakyrelu激活函数和全连接层;
步骤3:设置超参数、完成训练
基于改进后的YOLOv5网络的定位模型采用SGD优化算法,设置超参数,包括学习率、余弦退火、学习率动量和权重衰减系数;设置数据增强系数,包括HSV_H、HSV_S和HSV_V,使用遗传算法对超参数进行更新;使用步骤1中划分的训练集对参数设置完成的YOLOv5网络进行训练,保存最优YOLOv5网络模型;
步骤4:导入参数、实现识别
把步骤1中划分的测试集输入到由步骤3得到的最优YOLOv5网络模型中,完成对伪彩图像中的淋巴细胞定位,提取定位结果中预测框的相对位置信息;其中,预测框是指由YOLOv5网络模型生成的矩形边框,用于将定位出的淋巴细胞在图中进行框选;基于一维卷积神经网络的分型模型获取到淋巴细胞预测框的相对位置信息,经过坐标转换与区域截取模块得到淋巴细胞预测框内的伪彩图像,由光谱信息获取模块提取淋巴细胞的平均光谱值,一维卷积神经网络模型将获取到的平均光谱值经一维卷积降维后,最终由全连接层实现异型淋巴细胞的分型识别。
2.根据权利要求1所述的基于YOLOv5和显微高光谱图像的异型淋巴细胞分型方法,其特征在于,步骤2中所述Neck模块输出的特征图大小为152*152和19*19,即定位模块的两个尺度大小。
3.根据权利要求1或2所述的基于YOLOv5和显微高光谱图像的异型淋巴细胞分型方法,其特征在于,步骤2中所述YOLO head模块的检测头指的是与输入特征图像大小相同的卷积核。
4.根据权利要求1或2所述的基于YOLOv5和显微高光谱图像的异型淋巴细胞分型方法,其特征在于,步骤4中所述输入的异型淋巴细胞的位置信息格式为[x,y,w,h];其中,以图片的左上角为坐标零点,x是指异型淋巴细胞中心位置在图中的x轴相对坐标;y是指异型淋巴细胞中心位置在图中的y轴相对坐标;w是指预测边框的相对宽度;h是指预测边框的相对高度。
5.根据权利要求3所述的基于YOLOv5和显微高光谱图像的异型淋巴细胞分型方法,其特征在于,步骤4中所述输入的异型淋巴细胞的位置信息格式为[x,y,w,h];其中,以图片的左上角为坐标零点,x是指异型淋巴细胞中心位置在图中的x轴相对坐标;y是指异型淋巴细胞中心位置在图中的y轴相对坐标;w是指预测边框的相对宽度;h是指预测边框的相对高度。