1.一种基于病变权重特征图的黑色素瘤识别方法,其特征在于,包括:
获取预处理后的皮肤镜图像;
将皮肤镜图像输入预先训练获得的FA‑MobileNet神经网络,输出初步识别结果;
对初步识别结果进行可视化处理,将可视化结果输入病变权重指数模块进行处理,获得病变权重特征图;
将病变权重特征图输入所述FA‑MobileNet神经网络,输出最终识别结果;
所述FA‑MobileNet神经网络包括主干模块、特征融合模块、分类模块和平均法处理模块,所述主干模块对输入图像提取不同分辨率的特征图,选取若干不同分辨率的特征图送入特征融合模块,所述特征融合模块对输入的不同分辨率的特征图进行特征融合得到若干分辨率相同的特征图并将其输入分类模块,所述分类模块对输入的特征图进行分类,获得对应若干分类结果,所述平均法处理模块对获得的分类结果进行均值计算得到识别结果;
所述主干模块包括依次连接的卷积层、bneck1,bneck2,bneck3,bneck4,bneck5,bneck7,bneck11,bneck13和bneck*,所述主干模块是通过将MobileNetV3_large网络原有的15个倒置残差块去除一部分,留下bneck1,bneck2,bneck3,bneck4,bneck5,bneck7,bneck11,bneck13,同时删除原有MobileNetV3_large网络中最后的卷积层和平均池化层,并在bneck13后面再加上一个注意力倒残差块bneck*得到的,其中bneck4,bneck5,bneck13和bneck*添加有融合通道和空间的注意力机制模块,bneck2,bneck4,bneck7,bneck11,bneck13和bneck*分别用于提取不同尺寸的特征图。
2.根据权利要求1所述的一种基于病变权重特征图的黑色素瘤识别方法,其特征在于,所述FA‑MobileNet神经网络通过以下步骤训练得到:获取黑色素瘤皮肤镜图像数据集D1;
对数据集D1中的所有皮肤镜图像进行预处理,得到数据集D2;分别使用几何变换和像素点操作对数据集D2进行数据扩充,得到数据集D3和D4;
将数据集D3和D4分别输入FA‑MobileNet神经网络中进行训练,得到对应的两种初步识别结果;
对两个初步识别结果进行可视化处理,得到初步可视化图A1和A2,对A1和A2对应像素点进行求均值操作,得到初步可视化结果A;
利用病变权重指数模块对A进行处理,得到病变权重特征图;
将病变权重特征图再次送入FA‑MobileNet神经网络中进行训练,得到最终识别结果。
3.根据权利要求1所述的一种基于病变权重特征图的黑色素瘤识别方法,其特征在于,所述bneck4,bneck5,bneck13和bneck*提取特征的步骤包括:通过1*1逐点卷积操作对输入的特征图进行升维,再经过批量归一化和激活函数操作,得到第一特征图;
采用深度可分离卷积对第一特征图提取特征,再经过批量归一化和激活函数操作,得到第二特征图;
通过注意力机制模块对第二特征图进行处理获得注意力图;
利用1*1逐点卷积对所得注意力图进行降维,使输出的维度和最初输入的特征图的维度相似;
将最初输入的特征图和降维后的注意力图的对应像素点进行相加,再经过批量归一化和激活函数操作,获得总的输出特征图。
4.根据权利要求3所述的一种基于病变权重特征图的黑色素瘤识别方法,其特征在于,所述bneck4,bneck5,bneck13和bneck*中的注意力机制模块,包括通道注意力机制模块和空间注意力机制模块:在通道注意力机制模块中,对所述第二特征图进行全局平均池化操作后,送入1*1卷积层降维,经过ReLU激活函数后再次送入1*1卷积层升维,再经过批量归一化操作得到通道注意力图;
在空间注意力机制模块中,使所述第二特征图依次经过一个1*1卷积、两个3*3膨胀卷积、一个1*1卷积操作后,再经过批量归一化操作获得空间注意力图;
将通道注意力图和空间注意力图调整为相同大小后相加,再经过hard_sigmoid激活函数得到融合注意力图。
5.根据权利要求1所述的一种基于病变权重特征图的黑色素瘤识别方法,其特征在于,所述主干模块选取分辨率为8*8,16*16,32*32的特征图作为特征融合模块的输入,所述特征融合模块对输入的不同分辨率的特征图进行特征融合,包括:对分辨率为8*8的特征图进行上采样,同时对分辨率为16*16的特征图进行1*1卷积操作,之后再将两者的对应像素点进行相加,然后再经3 * 3的卷积融合,得到分辨率为16*16的新特征图;
将新特征图作为输入进行上采样,同时对分辨率为32*32的特征图进行1*1卷积操作,之后再将两者的对应像素点进行相加,然后再经3 * 3的卷积融合,获得分辨率为32*32的新特征图;
对融合后的分辨率为16*16的新特征图和32*32的新特征图分别进行卷积操作,卷积核为3*3,步长为2,直到两个新特征图的分辨率都变为8*8。
6.根据权利要求2所述的一种基于病变权重特征图的黑色素瘤识别方法,其特征在于,所述分别使用几何变换和像素点操作对数据集D2进行数据扩充,包括:对数据集D2中所有黑色素瘤图像分别进行垂直旋转和逆时针旋转45°变换操作,将所得图像和D2中原有图像保存,得到数据集D3;
对D2中所有黑色素瘤图像分别进行高斯模糊和加入椒盐噪声变换操作,将所得图像和D2中原有图像保存,得到数据集D4。
7.根据权利要求2所述的一种基于病变权重特征图的黑色素瘤识别方法,其特征在于,所述利用病变权重指数模块对A进行处理,包括以下步骤:对可视化图A进行归一化操作;
获得图像病变区域中心点到边界轮廓的欧式距离,并对各距离段赋予不同权重值,得到距离特征图S;
将A和S对应像素点进行乘法操作,得到病变权重特征图。
8.根据权利要求7所述的一种基于病变权重特征图的黑色素瘤识别方法,其特征在于,所述距离特征图S通过以下步骤得到:找到病变区域的最小面积外接圆的中心点,将其定义为病变区域中心;
将最小面积外接圆的半径R平均划分成二十等份,以病变区域中心到病变像素的距离划分出20个距离段;
将每个距离段赋予[0,1]之间的不同权重值,离病变区域中心最近的距离段赋予1,每个距离段的权重依次递减0.05,以此得到距离特征图S。