1.一种基于多尺度跨路径特征融合的乳腺肿块检测方法,其特征在于,包括:
获取待检测的乳腺钼靶X线图像,将待检测的乳腺钼靶X线图像输入到已训练好的理想网络模型中,对理想网络模型的输出结果进行解码,得到若干个预测框,对这些预测框做ID_NMS非极大值抑制操作,最后输出该乳腺图像中所含肿块的BI‑RADS等级,并框出该肿块的具体位置;
得到所述已训练好的理想网络模型的过程,包括:
获取乳腺钼靶X线图像训练集;
从乳腺钼靶X线图像训练集提取乳腺钼靶X线图像,对乳腺钼靶X线图像进行预处理,将乳腺区域与黑色背景分离,得到乳腺区域图像;
利用图像融合的方法对乳腺区域图像进行扩充得到图像数据集;对图像数据集使用形态学方法进行数据增强,得到加深对比度后的乳腺图像;
利用预先构建的主干特征提取网络对加深对比度后的乳腺图像进行初步特征提取,生成若干个不同尺寸的原始特征图;
将不同尺寸的原始特征图输入到增强模块,进行特征再提取和特征增强,得到不同尺寸的增强特征图;
将提取到的不同尺寸的增强特征图输入到跨路径特征融合模块,得到多尺度跨路径特征融合特征图;
将多尺度跨路径特征融合特征图输入到预测模块,对多尺度跨路径特征融合特征图是否存在肿块、肿块分类和定位进行初步预测结果;根据初步预测结果的肿块分类、内含肿块概率及先验框与地面真值框之间的交并比IoU,计算训练损失和;不断进行神经网络的训练,降低模型损失,当模型损失低于预设值时,得到训练好的理想网络模型;
所述利用预先构建的主干特征提取网络对加深对比度后的乳腺图像进行初步特征提取,生成若干个不同尺寸的原始特征图,包括:S31、对加深对比度后的乳腺图像进行切片操作,在一张加深对比度后的乳腺图像中每隔一个像素取一个值,获得12个独立的通道层,将这12个独立的通道层进行堆叠,通过1×1卷积层增加通道数;
S32、基于CSPDarknet网络改进得到所述主干特征提取网络,包括:
去除CSPDarknet网络中的最大池化层和最后的SPP结构,CSPDarknet网络中的下采样层替换为3×3卷积层;将CSPDarknet网络中的CSP_X结构中的普通残差块换成深度可分离残差块,所述深度可分离残差块依次包含3×3逐通道卷积、激活函数和1×1逐点卷积;将替换为3×3卷积层的下采样层和基于深度可分离残差块的CSP_X结构结合组成Resblock块;
S33、选取后三个Resblock输出的原始特征图,分辨率为80×80、40×40、20×20,得到三个不同尺寸的原始特征图;
所述将不同尺寸的原始特征图输入到增强模块,进行特征再提取和特征增强,得到不同尺寸的增强特征图,包括:S41、选取分辨率为80×80、40×40或20×20的原始特征图输入MSA模块;MSA模块分为多尺度特征提取MSFE模块和注意力机制CSA模块;
S42、原始特征图依次进入多尺度特征提取MSFE模块,该多尺度特征提取MSFE模块将输入特征图按通道数分成4组,第一组特征图保持不变,第二组特征图经过3×3卷积进一步提取特征,第三组特征图结合第二组生成的新特征图相加经过3×3卷积,第四组特征图结合第三组的卷积结果进入3×3卷积层;最后将生成的4个新特征图通道融合成新特征图;将新特征图与原始特征图融合,生成多尺度特征图。
2.根据权利要求1所述的基于多尺度跨路径特征融合的乳腺肿块检测方法,其特征在于,所述对乳腺钼靶X线图像进行预处理,将乳腺区域与黑色背景分离,得到乳腺区域图像,包括:S11、用最大类间方差法对乳腺钼靶X线图像进行分割,将乳腺区域变成白色部分,得到包括乳腺区域和背景黑色区域的二值图;
S12、计算二值图中的连通区域,选取最大连通区域就是乳腺区域;计算该连通区域的最小外接矩形并剪切,得到乳腺区域图像。
3.根据权利要求1所述的基于多尺度跨路径特征融合的乳腺肿块检测方法,其特征在于,所述利用图像融合的方法对乳腺区域图像进行扩充得到图像数据集;对图像数据集使用形态学方法进行数据增强,得到加深对比度后的乳腺图像,包括:S21、根据医生标注的肿块矩形框左上角和右下角的像素值,得到要裁剪的矩形框的宽高;在乳腺区域图像中随机裁剪与肿块矩形框相同大小的正常组织矩形区域,得到正常组织区域图像;
S22、将随机裁剪出来的正常组织区域图像与肿块矩形框对应的肿块区域图像进行像素融合,获得一张与原肿块图像相同病变等级,但肿块位置不一样的乳腺图像;
S23、重复S21‑ S22步骤n次,将数据集增大至原来的n+1倍,获得图像数据集;
S24、根据图像数据集中的乳腺区域图像生成图像直方图,对图像数据集中的乳腺区域图像的像素值进行排序,将直方图左端m%的位置当作最小像素值,直方图右端m%的位置当作最大像素值,重新计算图像中所有像素值,让其分布在新范围中,输出加深对比度后的乳腺图像;重新计算图像中所有像素值的计算公式为:其中, Pnew为新像素值,Pmax为新范围的最大像素值;Pmin为新范围的最小像素值;Pold为像素点的原像素值。
4.根据权利要求1所述的基于多尺度跨路径特征融合的乳腺肿块检测方法,其特征在于,所述CSP_X结构包括深度可分离卷积和X个残差单元,残差单元的个数根据当前特征图的大小而改变,深层特征图残差单元个数比浅层特征图少。
5.根据权利要求1所述的基于多尺度跨路径特征融合的乳腺肿块检测方法,其特征在于,所述将不同尺寸的原始特征图输入到增强模块,进行特征再提取和特征增强,得到不同尺寸的增强特征图,包括:S43、将多尺度特征图输入注意力机制CSA模块,注意力机制CSA模块包括串联的通道注意力模块和空间注意力模块;多尺度特征图经过全局平均池化将特征图每层通道图压缩成
1×1,再通过一维快速卷积层建立跨通道信息依赖关系得到通道注意力特征图;根据输入的多尺度特征图的通道数自适应计算一维卷积层的卷积核大小kchannel为:其中,in_ch为输入特征图的通道数量;γ是调节系数;
将一维快速卷积生成的通道注意力特征图通过激活函数生成通道注意力图,再将该通道注意力图与输入的多尺度特征图相乘得到加权特征图;将加权特征图分别经过全局最大池化和全局平均池化,对全局最大池化和全局平均池化后获得的两个特征图进行融合连接和卷积层降维,再通过激活函数生成空间注意力图,最后将该空间注意力图与输入的加权特征图相乘,得到在通道和空间两个维度进行注意力加权的分辨率为80×80、40×40或20×20的增强特征图。
6.根据权利要求5所述的基于多尺度跨路径特征融合的乳腺肿块检测方法,其特征在于,所述将提取到的不同尺寸的增强特征图输入到跨路径特征融合模块,得到多尺度跨路径特征融合特征图,包括:S51、选取分辨率分别为80×80、40×40、20×20的增强特征图,输入CP_FPN模块的输入;
S52、利用CP_FPN模块将分辨率为20×20的增强特征图输入深度可分离卷积块得到20×20的初级融合特征图一,对初级融合特征图一进行最邻近插值放大处理后,与40×40的增强特征图进行融合得到40×40的初级融合特征图二,并将初级融合特征图二作为下一步特征融合的深层特征,与下一级80×80增强特征图继续进行特征融合,得到80×80的初级融合特征图三;完成第一条自深向浅的特征融合路径,得到20×20的初级融合特征图一、40×40的初级融合特征图二和80×80的初级融合特征图三;
将初级融合特征图三作为第二条自浅向深的特征融合路径的输入,对其进行卷积下采样,并融合自深向浅路径中的初级融合特征图二、MSA模块输出中40×40的增强特征图,得到40×40的高级融合特征图一;将高级融合特征图一作为下一步特征融合的浅层特征,卷积下采样后与前条路径的初级融合特征图一、MSA模块输出的20×20的增强特征图进行特征融合,得到20×20的高级融合特征图二;
S53、将初级融合特征图三、高级融合特征图一和高级融合特征图二分别通过3×3深度可分离卷积块,最终得到分辨率为80×80、40×40、20×20的多尺度跨路径特征融合特征图。
7.根据权利要求1所述的基于多尺度跨路径特征融合的乳腺肿块检测方法,其特征在于,所述将多尺度跨路径特征融合特征图输入到预测模块,对多尺度跨路径特征融合特征图是否存在肿块、肿块分类和定位进行初步预测结果;根据初步预测结果的肿块分类、内含肿块概率及先验框与地面真值框之间的交并比IoU,计算训练损失和;不断进行神经网络的训练,降低模型损失,当模型损失低于预设值时,得到训练好的理想网络模型,包括:S61、在多尺度跨路径特征融合特征图f×f×n中设置f×f个特征点,每个特征点设置不同大小的先验框,根据医生标注文件对乳腺图像进行标定真值框,第一个f表示多尺度跨路径特征融合特征图的长,第二个f表示多尺度跨路径特征融合特征图的宽,n表示多尺度跨路径特征融合特征图的通道;
计算各个先验框与真值框的IoU值,将IoU值大于预设阈值的先验框作为正样本,小于预设阈值的先验框作为负样本;
S62、将多尺度跨路径特征融合特征图分别依次输入两个3×3深度可分离卷积块和一个1×1卷积块,得到该多尺度跨路径特征融合特征图对应的初步预测结果,最终的通道数和肿块分类类别数、每一个特征层上每一个特征点存在的先验框个数相关;输出的初步预测结果包括每一个特征点的先验框内部包含肿块的概率、先验框中心点相较于特征点的偏移和先验框相较于真值框的宽高参数、先验框内部肿块类别的概率;
S63、根据输出的初步预测结果和真值框,计算损失和Lsum,表示为:
其中,Lconf为先验框包含肿块的置信度损失函数;Lloc为正样本先验框的定位损失函数;
Lcls是正样本先验框的肿块类别损失函数;c是平衡系数,用于平衡正负样本比例不均;
其中,F是该特征图对应的特征点的数量;M是每个特征点对应先验框的数量;xij为第i个特征点的第j个先验框包含肿块的概率;yij为第i个特征点的第j个先验框属于正样本的概率;
其中,IoU是预测框与真值框的交集;ρ(•)代表欧式距离;dgt是真值框的中心点位置;
dpre是先验框的中心点位置;l是两个边界框并集的最小外接矩形的对角线距离;
其中,N是正样本先验框的数量;num_cls是肿块类别数量; ={0,1},为第i个正样本先验框对应的真值框是否属于p类别,p表示第p个肿块类别; 为第i个正样本先验框属于第p个肿块类别的概率;pos表示正样本先验框集合;
S64、不断降低损失和,当模型损失低于预设值时,得到理想网络模型。
8.根据权利要求1所述的基于多尺度跨路径特征融合的乳腺肿块检测方法,其特征在于,所述对理想网络模型的输出结果进行解码,得到若干个预测框,对这些预测框做ID_NMS非极大值抑制操作,包括:S71、根据输出结果中的每个先验框包含肿块概率设置阈值,概率大于阈值的先验框当作预测框,概率小于阈值的先验框舍弃;将每个预测框的位置和类别参数提取出来,作为解码模块的输入;
S72、解码模块对预测框的位置和所包含肿块的类别进行解码,将预测框的相对中心点位置和宽高参数解码成预测框的四角坐标,肿块类别信息的one‑hot编码解码为某一类肿块BI‑RADS等级;
S73、对预测框做ID_NMS非极大值抑制操作,同时考虑IoU和预测框中心点距离两个因素;按照预测框包含肿块的置信度大小,对预测框进行降序排列;选取置信度最高的预测框,计算置信度最高的预测框与其他预测框的IoU值;当IoU值小于预设阈值时,保留该预测框;当IoU值大于预设阈值时,计算这两个预测框中心点的欧式距离,若中心点距离大于预设距离阈值,保留该预测框;若中心点距离小于预设距离阈值,则舍弃该预测框,得到最终的乳腺肿块预测结果。